[論文レビュー] Does Knowledge Help General NLU? An Empirical Study

Ruochen Xu, Yuwei Fang+2 more|arXiv (Cornell University)|Sep 1, 2021

Topic Modeling参考文献 35被引用数 7

ひとこと要約

本稿は、外部知識が一般自然言語理解（NLU）タスクにおける性能を向上させるかどうかを実証的に調査している。4つの事前学習モデルと10のNLUタスクを用い、非侵襲的な手法でテキスト記述および埋め込みを介した知識統合を評価した結果、知識統合により平均F1スコアが0.46ポイント向上し、入力情報の保持とタスクに不要な特徴量のフィルタリングによってモデルの一般化性能が向上することがわかった。

ABSTRACT

It is often observed in knowledge-centric tasks (e.g., common sense question and answering, relation classification) that the integration of external knowledge such as entity representation into language models can help provide useful information to boost the performance. However, it is still unclear whether this benefit can extend to general natural language understanding (NLU) tasks. In this work, we empirically investigated the contribution of external knowledge by measuring the end-to-end performance of language models with various knowledge integration methods. We find that the introduction of knowledge can significantly improve the results on certain tasks while having no adverse effects on other tasks. We then employ mutual information to reflect the difference brought by knowledge and a neural interpretation model to reveal how a language model utilizes external knowledge. Our study provides valuable insights and guidance for practitioners to equip NLP models with knowledge.

研究の動機と目的

• 外部知識が知識中心の応用を越えて、一般NLUタスクにおける性能向上に寄与するかどうかを特定すること。
• 多様なNLUタスクにおいて最大の利益をもたらす知識ソースおよび統合手法を同定すること。
• NLU性能の向上に寄与するさまざまな知識統合手法および事前学習言語モデルの有効性を評価すること。
• End-to-end精度を超えて、知識がモデル意思決定に与える影響を解釈可能性ツールおよび相互情報量を用いて分析すること。
• 一般NLUタスク向けにNLPモデルに外部知識を効果的に統合するための実務的知見を提供すること。

提案手法

• 非侵襲的知識統合手法を2つ採用：Knowledge as Text（KT）はエンティティの説明を入力トークンに挿入する方法、Knowledge as Embedding（KE）はエンティティ埋め込みを文脈的表現に追加する方法。
• RoBERTa-base、BERT-base、ELECTRA-base、DistilBERTの4つの事前学習言語モデルに両手法を適用。
• 変換器層ごとに、知識が入力（x）および出力（y）に関する情報保持に与える影響を測定するため、相互情報量（MI）推定を実施。MIは再構成誤差および交差エントロピー損失を用いて近似。
• DiffMask（ニューラル解釈モデル）を用いて、各層でモデルがどの入力トークンを重要視しているかを可視化し、知識統合による意思決定プロセスの変化を分析。
• 感情分析、自然言語帰納、文類似度、品詞タグ付け、NERを含む10の一般NLUタスクで広範な実験を実施。
• 各変換器層lにおいて、ΔI(c^(l);x)およびΔI(c^(l);y)の相互情報量の差を推定し、知識統合が情報フローおよび抽象化に与える影響を評価。

実験結果

リサーチクエスチョン

• RQ1 外部知識は一般NLUタスク全体において性能向上をもたらすか？
• RQ2 どの知識ソースおよびどのNLUタスクが知識統合によって最も利益を得るか？
• RQ3 同じ実験設定下で、どの知識統合手法が最も効果的か？
• RQ4 どの大規模事前学習言語モデルが外部知識によって最も恩恵を受けるか？
• RQ5 End-to-end性能を超えて知識の影響を検出できるか。もしそうなら、モデルはどのように知識を利用しているか？

主な発見

• 10のNLUタスクおよび4つのモデル全体で、知識統合により平均F1スコアが0.46ポイント向上。特にCoLAやRTEのような特定タスクで顕著な向上が見られた。
• KT-Attn手法が最も高い相互情報量の増加を達成し、vanilla RoBERTa-baseベースラインに比べて入力情報の保持を強化し、不要な特徴量の排除をより効果的に行った。
• 知識統合により、層6以降から段階的に不要な情報が減少し、出力関連の特徴量の保持が強化される傾向が見られた。
• 知識は特定のトークン（例：動詞、名詞、形容詞）にのみ適用されているが、その影響は全トークンの注視度に及び、CoLAのようなタスクにおける一般化性能の向上に寄与した。
• DiffMask分析から、KT-Attnは予測に影響しない語（例：否定の'not'や複雑なフレーズ'not to stay'）を正しく「重要でない」と同定しており、推論能力の向上を示している。
• 知識統合後、特定の品詞タグ（例：代名詞PRON、助詞ADP、数詞NUM）を重要視する変換器層の平均数が増加しており、モデル行動への広範な影響が確認された。