[論文レビュー] Evaluating Compositionality in Sentence Embeddings

Ishita Dasgupta, Demi Guo+3 more|arXiv (Cornell University)|Feb 12, 2018

Topic Modeling被引用数 18

ひとこと要約

本稿では、文埋め込みにおける構成的一般化を評価するための診断データセットを導入し、最先端のモデルであるInferSentが、標準的なベンチマークでは優れた性能を示すものの、構造的で構成的に感受性のある文のペアに対しては失敗することを示している。主な発見は、最小限の対照的例を追加することで、訓練データを拡張することにより、性能が顕著に向上することであり、モデルの失敗はアーキテクチャ的制限ではなく、データバイアスに起因していることを明らかにした。

ABSTRACT

An important challenge for human-like AI is compositional semantics. Recent research has attempted to address this by using deep neural networks to learn vector space embeddings of sentences, which then serve as input to other tasks. We present a new dataset for one such task, `natural language inference' (NLI), that cannot be solved using only word-level knowledge and requires some compositionality. We find that the performance of state of the art sentence embeddings (InferSent; Conneau et al., 2017) on our new dataset is poor. We analyze the decision rules learned by InferSent and find that they are consistent with simple heuristics that are ecologically valid in its training dataset. Further, we find that augmenting training with our dataset improves test performance on our dataset without loss of performance on the original training dataset. This highlights the importance of structured datasets in better understanding and improving AI systems.

研究の動機と目的

• 文の意味的知識を超えて構成的一般化をテストする診断ベンチマークの開発。
• InferSentのような最先端の文埋め込みモデルが、構成的に感受性のある自然言語推論タスクで失敗する理由の調査。
• 標準ベンチマークでの性能を損なわずに、構成的タスクの性能を的を射たデータ拡張によって向上させられるかどうかの評価。
• モデルが学習するヒューリスティックな意思決定ルールの同定と分析。これにより、構成的に複雑な例で失敗する理由を説明する。

提案手法

• 構成的推論を要するが、語レベルの情報のみでは解けない文のペアを含む、新たな自然言語推論（NLI）データセット「Comparisonsデータセット」を構築。
• InferSent文埋め込みモデルを標準的なSNLIデータセットおよび新しいComparisonsデータセットの両方で訓練・評価し、構成的一般化の性能を評価。
• 特徴の寄与度とパターン分析を用いて、InferSentが学習した意思決定ルールを分析し、訓練データ内に存在する生態的に妥当なヒューリスティックを同定。
• SNLIとComparisonsデータセットの組み合わせデータセットでInferSentをファインチューニングし、元のタスクでの性能劣化なしに新しいタスクでの性能向上をテスト。
• SNLIとComparisonsデータセットの組み合わせデータセットからInferSentを再訓練することで、モデルアーキテクチャが適切な訓練例が提供されれば構成的パターンを学習可能かどうかを検証。
• 解釈可能性技術を用いてモデルの挙動を検討し、性能向上が短絡的ヒューリスティックではなく、真の構成的学習によるものであることを検証。

実験結果

リサーチクエスチョン

• RQ1 InferSentのような最先端の文埋め込みモデルは、語レベルの意味を超えた関係的推論を要する文のペアに対して、構成的に一般化できるか？
• RQ2 InferSentのようなモデルが訓練データから学習する具体的なヒューリスティックは何か？ これにより、構成的に複雑な例で失敗する原因となる。
• RQ3 SNLIの訓練データに内在するバイアスは、ComparisonsデータセットにおけるInferSentの性能不良をどの程度説明できるか？
• RQ4 標準ベンチマークでの性能を損なわずに、最小限の対照的例を追加することで、構成的に感受性のある例の性能を向上させられるか？
• RQ5 InferSentのモデルアーキテクチャは、より構造的かつ多様な訓練分布が提供されれば、構成的表現を学習可能か？

主な発見

• InferSentはComparisonsデータセットで45.36%の正確度を示し、SNLIテストセットの84.84%という高い正確度とは対照的に、構成的一般化に著しく失敗していることが示された。
• InferSentの性能不良の主な原因は、モデルアーキテクチャの根本的制限ではなく、データ駆動のヒューリスティック（例：語の共起パターンへの依存）であることが判明した。
• 分析の結果、モデルはSNLIの訓練データから生態的に妥当なヒューリスティック（特定の語が特定の帰結関係に関連付けられる）を学習しており、これがComparisonsデータセットの反例では機能しなかった。
• Comparisonsデータセットでファインチューニングすることで、テスト正確度が99.8%まで向上し、適切な例が提供されればモデルが構成的パターンを学習可能であることを示した。
• SNLIとComparisonsデータセットの組み合わせデータセットから再訓練した場合、Comparisonsデータセットでの正確度は99.55%、SNLIでの正確度は84.96%に達し、両タスクの性能を維持または向上させられることが示された。
• 結果から、モデルアーキテクチャ自体は構成的推論が可能であり、性能の主な障壁は、構成的一般化を露呈する多様で構造的な訓練例の不足にあることが確認された。