[論文レビュー] Assessing Composition in Sentence Vector Representations

Allyson Ettinger, Ahmed Elgohary+2 more|arXiv (Cornell University)|Sep 11, 2018

Natural Language Processing Techniques被引用数 11

ひとこと要約

この論文では、文の構造的意味を評価するための制御された手法を紹介している。文の構文的・意味的・語彙的制約を厳密に設定した大規模なアノテート済み文のセットを生成することで、神経的文埋め込みにおける構成的意味の理解度を評価する。この手法は、意味的役割や否定といった抽象的構成的情報を探査するためのターゲット分類タスクを用い、モデルが構造的な意味をどれだけ正しく捉えられるかを効果的に区別できることを示している。結果として、モデル間で顕著な差が認められ、bag-of-wordsベースラインによる検証も行われた。

ABSTRACT

An important component of achieving language understanding is mastering the composition of sentence meaning, but an immediate challenge to solving this problem is the opacity of sentence vector representations produced by current neural sentence composition models. We present a method to address this challenge, developing tasks that directly target compositional meaning information in sentence vector representations with a high degree of precision and control. To enable the creation of these controlled tasks, we introduce a specialized sentence generation system that produces large, annotated sentence sets meeting specified syntactic, semantic and lexical constraints. We describe the details of the method and generation system, and then present results of experiments applying our method to probe for compositional information in embeddings from a number of existing sentence composition models. We find that the method is able to extract useful information about the differing capacities of these models, and we discuss the implications of our results with respect to these systems' capturing of sentence information. We make available for public use the datasets used for these experiments, as well as the generation system.

研究の動機と目的

• 神経的文埋め込みが構成的意味をどのように捉えているかの透明性の欠如が、評価や改善を妨げているのを是正する。
• 意味的役割や否定といった抽象的構成的情報について、体系的かつ制御された方法で文表現を探査する手法を開発する。
• 文法的・意味的・語彙的制約を厳密に設定した大規模な意味アノテート済み文データセットを生成し、厳密な評価を可能にする。
• 構成的推論を要するタスクで、bag-of-wordsモデルが偶発的統計的手がかりのみで解けないことを確認することで、手法の妥当性を検証する。
• 生成システムと分類データセットを公開し、構成的意味モデルの評価と開発を広く支援する。

提案手法

• 意味的役割フレームにおける主語や対象を特定するなど、構成的意味を直接ターゲットにする分類タスクを設計する。
• 指定された文法的・意味的・語彙的制約に従って、大規模で制御された文のセットを生成する専用の文生成システムを開発する。
• 各文にゴールドスタンダードの意味ラベルをアノテートすることで、評価タスクにおける正確性と一貫性を確保する。
• 表面的なパターンに依存しない一般化を促進するため、トレーニング・テスト分割戦略を実装する。
• 文の順序に依存する構成的推論を要するタスクで、bag-of-wordsモデルが単に統計的ヒントだけでは解けないことを確認するための sanity check として用いる。
• 複数の既存の構成モデルから得られる文埋め込みをこの手法で探査し、特定の構成的特徴をどれだけ捉えられるかを評価する。

実験結果

リサーチクエスチョン

• RQ1 神経的モデルの文埋め込みは、意味的役割や否定といった構成的意味をどの程度捉えられるか？
• RQ2 異なる文構成モデルは、抽象的で構造的な意味的コンponentsをどの程度正しく表現できるか？
• RQ3 制御された合成データセットは、標準評価ベンチマークで性能が誇張されるような表面的バイアスを排除できるか？
• RQ4 提案手法は、文法的または意味的順序に依存するタスクでモデルが構成的性質を捉えていない場合を信頼性高く検出できるか？
• RQ5 生成システムは、構成的モデリングのための評価用データだけでなく、訓練用データの作成にも利用可能か？

主な発見

• この手法は、構成的意味を捉える能力に基づいて文構成モデルを効果的に区別でき、モデル間で顕著な性能差が明らかになった。
• 明示的な文法的構造を組み込むモデルは、特に意味的役割ラベル付けのタスクで優れた性能を示した。
• bag-of-wordsベースラインは、順序に依存する構成的推論を要するタスクで偶発的性能にとどまり、手法の真の構成的理解の検出能力を裏付けた。
• 結果から、多くの現在のモデルが、否定や複雑な意味的役割関係において依然として抽象的構成的情報の処理に苦労していることが示された。
• 単純なベースラインが順序に依存するタスクで一貫して失敗するという事実から、この手法がデータセットバイアスに対して頑健であることが裏付けられた。
• 公開されたデータセットと生成システムにより、再現可能な評価と、より構成的な文表現の今後の開発が可能になった。