[論文レビュー] Deriving Machine Attention from Human Rationales

Yujia Bao, Shiyu Chang+2 more|arXiv (Cornell University)|Aug 28, 2018

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 11

ひとこと要約

この論文では、人間による根拠（rationales）から高品質な機械的注目（attention）を資源豊富なタスクから資源が乏しいタスクへ転送するためのR2Aという手法を提案している。人間がアノテートした根拠から注目分布へのマッピングを学習することで、ドメイン不変の表現と根拠から注目へのマッピングを同時に学習する。R2Aはベンチマークデータセットで平均して15%以上の誤差低減を達成し、最先端のベースラインを上回っている。

ABSTRACT

Attention-based models are successful when trained on large amounts of data. In this paper, we demonstrate that even in the low-resource scenario, attention can be learned effectively. To this end, we start with discrete human-annotated rationales and map them into continuous attention. Our central hypothesis is that this mapping is general across domains, and thus can be transferred from resource-rich domains to low-resource ones. Our model jointly learns a domain-invariant representation and induces the desired mapping between rationales and attention. Our empirical results validate this hypothesis and show that our approach delivers significant gains over state-of-the-art baselines, yielding over 15% average error reduction on benchmark datasets.

研究の動機と目的

• 高品質な注目を表す人間による根拠を活用することで、低リソースNLPの性能を向上させること。
• 根拠から注目への一般化可能なマッピングを学習し、異なるドメイン間で転送可能にすること。
• ラベル付きデータの大量を必要としないように、根拠をより効率的な監視信号として活用すること。
• 直接的に根拠による監視のみを用いる場合と比較して、根拠から注目へのマッピングが優れた性能を示すことを示すこと。
• アスペクトレベルおよびクロスドメイン転送設定の両方で、本手法の有効性を検証すること。

提案手法

• R2Aモデルは、人間がアノテートした根拠を備えた資源豊富なソースタスク上で、注目に基づく分類器を共同で学習する。
• 低リソースのターゲットタスクへの転送を可能にするために、ドメイン不変の表現を学習する。
• 不変表現を用いて、人間の根拠を連続的な注目分布に変換するマッピングヘッドを学習する。
• 注目生成と下流分類の両方の目的関数を最適化するために、エンドツーエンドでモデルを訓練する。
• ターゲットタスクでは、学習済みのマッピングが人間の根拠から注目を生成し、それが最終的な分類器を監視する。
• 人間の根拠が大規模に入手できない場合、ソースタスクで機械的に生成された根拠を代理として用いる。

実験結果

リサーチクエスチョン

• RQ1 人間の根拠から高品質な注目へのマッピングを学習し、低リソースタスクに転送できるか？
• RQ2 低リソース環境下で、R2Aが生成する注目は、単に根拠による直接的監視よりも優れた性能を示すか？
• RQ3 根拠から注目へのマッピングは、異なるドメインやタスク間で一般化可能か？
• RQ4 低リソース転移学習において、R2Aの性能は最先端のベースラインと比較してどうか？
• RQ5 標準的な教師あり学習に比べ、R2Aのデータ効率はどの程度か？

主な発見

• R2Aは、ベンチマークデータセットにおいて、ドメイン転送設定で最も優れたベースラインと比較して平均15%以上の誤差低減を達成した。
• 3つのホテルレビューのアスペクトにおいて、R2Aは200件のラベル付き例と根拠を用いて、根拠なしで800、3100、1900件のラベル付き例で学習したベースラインモデルと同等の性能を達成した。
• 大規模なアノテーションから得たオラクル注目（oracle attention）は、根拠のみのモデルやR2Aモデルを上回る性能を示したが、R2Aはその性能に近く近似していた。
• R2Aが生成する注目は、オラクル注目と同様に、名詞や形容動詞といったタスクに関連する語に注目を向ける傾向を示し、意味的整合性を示した。
• 定性的な分析から、R2Aの注目は根拠の語に焦点を当て、機能語を軽視する傾向があり、人間の解釈可能性を模倣していることが確認された。
• 本手法は、学習済みの注目マッピングと組み合わせた場合、単なるラベルよりも根拠がはるかに効果的な監視信号であることを示した。