[論文レビュー] Natural Language QA Approaches using Reasoning with External Knowledge

Chitta Baral, Pratyay Banerjee+2 more|arXiv (Cornell University)|Mar 6, 2020

Topic Modeling参考文献 81被引用数 5

ひとこと要約

この論文は、外部知識を用いた推論に依存する最近の自然言語質問応答（NLQA）分野の進展を概説する。記号的・ニューラル的・ニューロ記号的アプローチを統合し、共通認識、世界知識、論理的推論を要するデータセットを強調し、知識表現とNLP研究の統合に向けた主な課題と今後の方向性を特定する。

ABSTRACT

Question answering (QA) in natural language (NL) has been an important aspect of AI from its early days. Winograd's ``councilmen'' example in his 1972 paper and McCarthy's Mr. Hug example of 1976 highlights the role of external knowledge in NL understanding. While Machine Learning has been the go-to approach in NL processing as well as NL question answering (NLQA) for the last 30 years, recently there has been an increasingly emphasized thread on NLQA where external knowledge plays an important role. The challenges inspired by Winograd's councilmen example, and recent developments such as the Rebooting AI book, various NLQA datasets, research on knowledge acquisition in the NLQA context, and their use in various NLQA models have brought the issue of NLQA using ``reasoning'' with external knowledge to the forefront. In this paper, we present a survey of the recent work on them. We believe our survey will help establish a bridge between multiple fields of AI, especially between (a) the traditional fields of knowledge representation and reasoning and (b) the field of NL understanding and NLQA.

研究の動機と目的

• 伝統的な知識表現と推論（KRR）を、現代のNLPおよびNLQA研究と結びつけること。
• 入力テキスト以外の外部知識を要する正しく質問応答を行うために必要なデータセットを特定・分析すること。
• NLQAモデルで使用される知識の種別（構造化知識、テクスト知識、ニューラル埋め込み知識、共通認識）を検討すること。
• 外部知識を用いた推論におけるニューラル的・記号的・ニューロ記号的モデルの性能と限界を評価すること。
• 特に定義的概念や知識獲得の観点から、NLQAにおける推論の向上に向けた今後の研究方向性を提案すること。

提案手法

• OpenBookQA、CommonsenseQA、HotpotQA、DROP、WinoGrandeなど20個以上の最近のNLQAデータセットをサーベイ。
• NLQAで使用される知識タイプの分類：構造化知識、テクスト知識、ニューラル埋め込み知識、共通認識。
• 知識の表現方法と使用される推論モジュール（記号的・ニューラル的・ニューロ記号的）に基づくモデルアーキテクチャの分析。
• 定量的および定性的推論タスク（記号的数学、論理的推論など）におけるモデルの性能評価。
• Transformersが古典的論理および限定的な非単調推論を処理する能力を検討。
• モデルの解釈可能性と正確性を向上させるために、論理的定義を用いて言語的概念（例：「示す」）を定義・形式化するフレームワークを提案。

実験結果

リサーチクエスチョン

• RQ1 OpenBookQA や WinoGrande や DROP といった異なるNLQAデータセットは、入力文脈を超えた外部知識をどのように必要としているか？
• RQ2 ニューラル的・記号的・ニューロ記号的モデルが外部知識を用いた推論において、それぞれの強みと限界は何か？
• RQ3 ニューラルモデルはどれほど帰納的推論や非単調推論を実行できるか。その失敗モードは何か？
• RQ4 「示す」のような定義的概念を論理的定義で形式化することで、モデルの性能と一般化能力を向上させられるか？
• RQ5 知識をデータから学習するのではなく、手動で論理形式で定義するほうが、どのような状況でより効果的か？

主な発見

• ニューラルモデルは、QuaRel や QuaRTz などの定性的推論タスクで70–80％の性能を達成しているが、人間の性能（94–95％）には及ばない。
• ニューラルモデルは単純な帰納的推論（例：AbductiveNLI 二択MCQ）では優れた性能を示すが、仮説生成タスクでは失敗する。
• 記号的およびニューロ記号的モデルは、論理的整合性や合成性を要する複雑な推論タスクで、純粋なニューラルモデルを上回る性能を示す。
• Transformersは基本的な自然言語ルールを理解し、限定的な非単調推論を実行できるが、複雑な論理的依存関係には苦労する。
• 「示す」のような重要な言語的概念を論理的定義で形式化することで、特にライフサイクル推論や時系列推論タスクにおいて、モデルの正確性と解釈可能性が向上する。
• LifeCycleQA や OpenBookQA のようなデータセットは、「示す」のような語の正確な意味的定義が正しい推論に不可欠であり、訓練データにそのような定義が欠落していることがしばしばあることを示している。