[论文解读] Deriving Machine Attention from Human Rationales

Yujia Bao, Shiyu Chang+2 more|arXiv (Cornell University)|Aug 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用 11

一句话总结

本文提出R2A方法，通过学习从人工标注的推理过程到注意力分布的映射，将资源丰富任务中的高质量机器注意力迁移至低资源任务。通过联合学习领域不变表示与推理到注意力的映射，R2A在基准数据集上实现了超过15%的平均误差降低，优于当前最先进基线方法。

ABSTRACT

Attention-based models are successful when trained on large amounts of data. In this paper, we demonstrate that even in the low-resource scenario, attention can be learned effectively. To this end, we start with discrete human-annotated rationales and map them into continuous attention. Our central hypothesis is that this mapping is general across domains, and thus can be transferred from resource-rich domains to low-resource ones. Our model jointly learns a domain-invariant representation and induces the desired mapping between rationales and attention. Our empirical results validate this hypothesis and show that our approach delivers significant gains over state-of-the-art baselines, yielding over 15% average error reduction on benchmark datasets.

研究动机与目标

• 通过利用人工标注的推理过程作为高质量注意力的代理，提升低资源NLP性能。
• 学习一种可泛化的从推理到注意力的映射，实现在不同领域间的迁移。
• 通过使用推理作为更高效的监督形式，减少对大规模标注数据的依赖。
• 证明推理到注意力的映射相比仅使用推理进行直接监督能取得更好的性能。
• 在方面级和跨领域迁移设置下验证该方法的有效性。

提出的方法

• R2A模型在资源丰富的源任务上联合训练基于注意力的分类器，这些任务包含人工标注的推理过程。
• 学习领域不变表示，以实现向低资源目标任务的迁移。
• 通过不变表示，使用映射头将人工推理过程转换为连续的注意力分布。
• 模型端到端训练，以同时优化注意力生成和下游分类目标。
• 在目标任务中，学习到的映射从人工推理过程中生成注意力，进而监督最终的分类器。
• 当大规模缺乏人工推理时，使用源任务中机器生成的推理作为代理。

实验结果

研究问题

• RQ1 能否学习并迁移从人工推理到高质量注意力的映射至低资源任务？
• RQ2 在低资源设置下，R2A生成的注意力是否优于仅使用推理进行直接监督？
• RQ3 该推理到注意力的映射在不同领域和任务之间是否具备泛化能力？
• RQ4 在低资源迁移学习中，R2A的性能与当前最先进基线相比如何？
• RQ5 与使用更多标注样本的标准监督学习相比，R2A的数据效率如何？

主要发现

• 在领域迁移设置下，R2A在基准数据集上的平均误差降低超过15%，优于最佳基线方法。
• 在三个酒店评论方面上，R2A使用200个标注样本和推理过程的性能，与未使用推理的基线模型在800、3100和1900个标注样本下的性能相当。
• 基于大规模标注推导出的最优注意力（oracle attention）优于仅使用推理和R2A模型，但R2A在性能上接近最优注意力。
• R2A生成的注意力突出显示了与任务相关的关键词——如名词和形容词——与最优注意力具有相似的语义对齐。
• 定性分析表明，R2A的注意力聚焦于推理中的关键词，同时弱化功能词，与人类可解释性一致。
• 该方法表明，当与学习到的注意力映射结合时，推理作为监督信号比原始标签更有效。