[論文レビュー] Can neural networks understand monotonicity reasoning?

Hitomi Yanaka, Koji Mineshima+5 more|arXiv (Cornell University)|Jun 15, 2019

Topic Modeling参考文献 33被引用数 5

ひとこと要約

この論文は、自然言語推論における単調性推論を評価するための大規模でクラウドソーシングされたベンチマーク、Monotonicity Entailment Dataset (MED) を紹介する。最新のモデルでさえ、特に下向き推論においては低い性能を示しているが、その性能はトレーニングデータの分布に強く依存しており、単調性演算子およびその句構造的相互作用の理解が不十分であることが示唆される。

ABSTRACT

Monotonicity reasoning is one of the important reasoning skills for any intelligent natural language inference (NLI) model in that it requires the ability to capture the interaction between lexical and syntactic structures. Since no test set has been developed for monotonicity reasoning with wide coverage, it is still unclear whether neural models can perform monotonicity reasoning in a proper way. To investigate this issue, we introduce the Monotonicity Entailment Dataset (MED). Performance by state-of-the-art NLI models on the new test set is substantially worse, under 55%, especially on downward reasoning. In addition, analysis using a monotonicity-driven data augmentation method showed that these models might be limited in their generalization ability in upward and downward reasoning.

研究の動機と目的

• 自然言語推論における単調性推論の包括的かつ高カバレッジのテストセットの欠如に対処すること。
• 神経ネットワークモデルが、語彙的構造と構文的構造の相互作用を適切に理解できるかどうかを評価すること。
• NLIモデルの上向きと下向きの単調性推論における一般化能力を調査すること。
• トレーニングデータの構成が単調性推論におけるモデル性能に与える影響を分析すること。

提案手法

• 4,856件の単調性推論例を、クラウドソーシングと言語学的出版物に基づいて収集し、MEDデータセットを構築した。
• 各例について、単調性演算子、その引数、推論方向（上向き／下向き）の言語的タグを付与した。
• SNLIおよびMultiNLIでトレーニングされた最新のNLIモデル（例：BERT、RoBERTa）をMEDテストセットで評価した。
• 単調性駆動型のデータ拡張を用いて、合成的な上向き／下向き推論データでモデルをトレーニングし、性能の変化を分析した。
• 語彙的推論問題と非語彙的推論問題の性能を比較するアブレーションスタディを実施し、さまざまな単調性演算子（例：few と a few）の性能を分析した。
• 人間の評価を用いて、一部の下向き推論が自然に人間によって行われることを検証した。これにより、モデルの失敗はタスクの不整合性によるものではないことが示された。

実験結果

リサーチクエスチョン

• RQ1 神経ネットワークNLIモデルは、特に下向き含意の文脈において適切に単調性推論を行うことができるか？
• RQ2 トレーニングデータの構成（上向き対下向き推論）が、単調性推論におけるモデル性能に与える影響は何か？
• RQ3 モデルは単調性の方向を越えて一般化できるのか、それともトレーニングデータの大多数の方向に偏っているのか？
• RQ4 モデルは、'few'（下向き）と 'a few'（上向き）といった下向き演算子を区別できるのか？
• RQ5 単調性推論は基本的な推論スキルであるにもかかわらず、なぜ下向き推論が著しく性能が低いのか？

主な発見

• すべての最新のNLIモデルがMEDテストセットで低い性能を示し、全体の正確性は55％未満にとどまり、特に下向き推論において顕著に低い。
• モデルは下向き語彙的推論問題で46.1％の正確性を達成したが、非語彙的下向き問題ではわずか18.8％にとどまり、非語彙的下向き推論に顕著な困難を示している。
• BERTは 'few'（下向き）と 'a few'（上向き）を区別できず、同じ例の上向きおよび下向きに変換されたバージョンに対して同じ予測を出力した。
• 上向き推論のみでトレーニングされたモデルは下向き推論で性能が低下し、逆に下向き推論のみでトレーニングされたモデルは上向き推論で性能が低下した。これは、モデルの性能がトレーニングデータの方向に支配されていることを示している。
• 394問の問題のうちすべてのモデルが失敗したが、そのうち244問が非語彙的であった。これは、非語彙的下向き推論が特に困難であることを示唆している。
• MultiNLIトレーニングセットにはたった77件の下向き推論問題しかなく、現実の文章では弁別的要因が下向き推論を抑制する可能性があるため、データの不足が原因であると考えられる。