[論文レビュー] Towards a Unified Natural Language Inference Framework to Evaluate Sentence Representations

Adam Poliak, Aparajita Haldar+5 more|arXiv (Cornell University)|Apr 23, 2018

Natural Language Processing Techniques被引用数 6

ひとこと要約

本論文は、7つのタスクにおける11の多様な意味的データセットを再定式化することで、約50万のコンテキスト-仮説ペアを含む統一的で大規模な自然言語推論（NLI）データセットを紹介する。このデータセットは、出来事の事実性、ジェンダーを含む代名詞の照応、比喩的言語など、多様な推論タイプにおける文表現の評価を可能にし、従来の意味的役割を越えた一般的な言語理解のプローブとベンチマークを示している。

ABSTRACT

We present a large scale unified natural language inference (NLI) dataset for providing insight into how well sentence representations capture distinct types of reasoning. We generate a large-scale NLI dataset by recasting 11 existing datasets from 7 different semantic tasks. We use our dataset of approximately half a million context-hypothesis pairs to test how well sentence encoders capture distinct semantic phenomena that are necessary for general language understanding. Some phenomena that we consider are event factuality, named entity recognition, figurative language, gendered anaphora resolution, and sentiment analysis, extending prior work that included semantic roles and frame semantic parsing. Our dataset will be available at this https URL, to grow over time as additional resources are recast.

研究の動機と目的

• 多様な推論タイプにわたる文表現の評価のための統一的フレームワークの開発。
• 従来のNLIベンチマークを拡張し、意味的役割やフレーム意味論を超えた意味的現象を統合すること。
• 比喩的言語やジェンダーを含む代名詞の照応といった複雑な言語現象における文エンコーダーの系統的評価を可能にすること。
• 複数の意味的タスクを1つのNLI形式に統合するスケーラブルで拡張可能なデータセットの作成。
• 事前学習済み文エンコーダーが洗練された意味的および話法的推論をどの程度捉えているかをプローブするためのリソースの提供。

提案手法

• 7つの意味的タスクにまたがる11の既存データセットを、自然言語推論に適したコンテキスト-仮説ペアに再定式化する。
• 感情分析、固有表現抽出、比喩的言語など多様な意味的タスクを、テキスト帰属のスタイルのアノテーションにマッピングする。
• タスク固有の推論タイプを保持しつつ入力形式を標準化する統一的NLIフレームワークを構築する。
• 多様な言語現象から約50万のコンテキスト-仮説ペアを統合し、評価に用いる。
• 将来的な追加の意味的リソース統合を可能にするように、データセットを拡張可能に設計する。

実験結果

リサーチクエスチョン

• RQ1 文表現は文脈における出来事の事実性や真偽条件をどの程度正しく捉えているか？
• RQ2 文エンコーダーはジェンダーを含む代名詞の照応をどの程度正しく解消でき、照応の一貫性を保っているか？
• RQ3 文表現は比喩的言語や比喩表現を正確にモデル化できるか？
• RQ4 エンコーダーは感情や感情関連の推論タスクにどの程度一般化できるか？
• RQ5 NLIフレームワーク内での固有表現抽出および意味的役割ラベル付けにおいて、表現はどの程度の性能を示すか？

主な発見

• 統一的NLIフレームワークは、多様な意味的タスクを1つのスケーラブルな評価形式に効果的に統合した。
• 文エンコーダーの性能は推論タイプによって異なるが、意味的役割では高い性能を示し、比喩的言語やジェンダーを含む代名詞の照応では弱い性能を示した。
• データセットは、話法的および話法的レベルの推論における現在の文表現の体系的なギャップを明らかにした。
• 出来事の事実性や感情の推論は、比喩的または比喩的言語よりも正しく捉えられている。
• 固有表現抽出および照応解決は依然として困難であり、特にジェンダーを含む代名詞が関与する場合には顕著である。