[論文レビュー] Transforming Question Answering Datasets Into Natural Language Inference Datasets

Dorottya Demszky, Kelvin Guu+1 more|arXiv (Cornell University)|Sep 9, 2018

Topic Modeling参考文献 32被引用数 122

ひとこと要約

本論文は、QAデータをQA2D変換を介して大規模なNLIデータセットへ自動化的に変換し、500k件を超える例を含むQA-NLIを作成し、複数のQA領域に一般化するニューラルQA2Dモデルを訓練する。

ABSTRACT

Existing datasets for natural language inference (NLI) have propelled research on language understanding. We propose a new method for automatically deriving NLI datasets from the growing abundance of large-scale question answering datasets. Our approach hinges on learning a sentence transformation model which converts question-answer pairs into their declarative forms. Despite being primarily trained on a single QA dataset, we show that it can be successfully applied to a variety of other QA resources. Using this system, we automatically derive a new freely available dataset of over 500k NLI examples (QA-NLI), and show that it exhibits a wide range of inference phenomena rarely seen in previous NLI datasets.

研究の動機と目的

• 豊富なQAデータセットを活用してNLIを多様化する動機付け。
• QAデータから含意/NLIで含意なしのペアを作成する、完全自動のQA2D変換を提案する。
• QA由来のNLIが、既存データセットを超える幅広い推論現象をカバーすることを実証する。
• 高品質な陳述を生成するため、ルールベース、クラウドソース、およびニューラルQA2Dコンポーネントを組み合わせたスケーラブルなパイプラインを提供する。

提案手法

• QA2Dを定義する: QAペア（パッセージP、質問Q、回答A）を、質問Qに答えるようにAを言い換えた宣言文Dへ変換する。
• Aが正しい場合には含意のあるNLIペア（P, D）を構築し、Aが誤っている場合やQが回答不能な場合には非含意を構築する。
• 3つのQA2Dアプローチを開発する: ルールベース、クラウドソース、ニューラル系列モデル。
• 高品質な宣言文をクラウドソーシングする二つの設定（ゼロから作成するか、ルールベース出力をポスト編集するか）でクラウドソーシングして、ニューラルQA2Dモデルを訓練する。
• Dを生成するために、QとAを入力としてニューラルエンコーダ-デコーダモデルを訓練し、コピー機構とGloVe埋め込みを使用する。

実験結果

リサーチクエスチョン

• RQ1 QA由来の宣言文は、さまざまなQAデータセット全体で有効なNLIペアを生み出せるか。
• RQ2 ニューラルQA2DモデルはSQuADを超えるQAデータセットにどれくらい一般化できるか。
• RQ3 自動化されたQA2D生成のNLIデータセットは、従来のNLIコーパスより広範な推論現象を明らかにするか。
• RQ4 QA2Dの品質がNLI学習や注釈アーティファクトに与える影響は何か？

主な発見

• QA2DはQAの例を「含意あり／含意なし」NLIペアへ変換でき、大規模なNLIの構築を可能にする。
• ニューラルQA2Dモデルは、データセット全体でルールベースシステムをBLEUと厳密一致の指標で一貫して上回る。
• ニューラルモデルは、ルールベースアプローチより高いBLEUと厳密一致スコアを達成する（平均増分: 約2.6 BLEUと約6.2%の精度）。
• 五つのQAソースから派生したQA-NLIデータセットは、500k件を超えるNLI例を含み、多様な推論現象を含む（複数文の推論やメタレベルの推論を含む）。
• QA-NLIはSNLI/MultiNLIで観察されるいくつかの注釈アーティファクトを減らし、ドメイン（映画の筋書き、ニュース、Wikipedia、試験）をまたぐさまざまな推論タイプを示す。