[論文レビュー] Improving Question Answering by Commonsense-Based Pre-Training

Wanjun Zhong, Duyu Tang+4 more|arXiv (Cornell University)|Sep 5, 2018

Topic Modeling参考文献 39被引用数 13

ひとこと要約

この論文は、ConceptNetを用いて概念間の直接的および間接的な関係関数を学習することで、ニューラル質問応答モデルの性能を向上させる、常識に基づく事前学習手法を提案する。知識グラフ上で事前学習を行い、これらの関数を既存のニューラルモデルに統合することで、3つの常識的QAベンチマークで性能が向上し、外部の知識が訓練データの制限を超えて推論を強化できることを示している。

ABSTRACT

Although neural network approaches achieve remarkable success on a variety of NLP tasks, many of them struggle to answer questions that require commonsense knowledge. We believe the main reason is the lack of commonsense \mbox{connections} between concepts. To remedy this, we provide a simple and effective method that leverages external commonsense knowledge base such as ConceptNet. We pre-train direct and indirect relational functions between concepts, and show that these pre-trained functions could be easily added to existing neural network models. Results show that incorporating commonsense-based function improves the baseline on three question answering tasks that require commonsense reasoning. Further analysis shows that our system \mbox{discovers} and leverages useful evidence from an external commonsense knowledge base, which is missing in existing neural network models and help derive the correct answer.

研究の動機と目的

• ニューラルQAモデルが常識的推論を要する質問を処理する能力に限界があることに対処する。
• ConceptNetのような外部の常識的知識ベースを活用して、ラベル付き訓練データを超えたモデルの一般化能力を向上させる。
• 知識グラフ内の直接的および間接的な概念的関係を捉えることができる事前学習手法を開発する。
• 既存のニューラルQAモデルに最小限のアーキテクチャ変更で、事前学習済みの関係関数を統合する。
• 外部の知識が、推論に役立つ有用な証拠を発見するために効果的に利用できることを実証する。

提案手法

• ConceptNet上でグラフベースのニューラルネットワークを用いて、概念間の関係関数を事前学習し、直接的および間接的な接続を捉える。
• 各概念をそのテキスト表現と知識グラフ内の近傍構造を用いて表現することで、意味的表現を豊かにする。
• 文脈に応じたモジュールを用いて、入力された質問と本文に応じて取得した概念の重要度を重み付けする。
• 事前学習済みの常識的関数を既存のニューラルQAモデルに外部信号として統合し、推論能力を強化する。
• 事前学習モデルと標準的なニューラルネットワークを、早期統合または後期相互作用によって組み合わせ、予測スコアを向上させる。
• 同じベースラインアーキテクチャを用いて、3つの選択肢式QAタスク（ARC、SemEval 2018 Task 11、OpenBook QA）にこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 常識的知識ベース上で事前学習することで、ニューラル質問応答モデルの推論能力が向上するか？
• RQ2 直接的および間接的な概念的関係は、常識的推論タスクにおけるQA性能向上にどの程度効果的か？
• RQ3 事前学習済みの関係関数は、アーキテクチャの大規模な見直しを伴わずに、既存のニューラルQAモデルに容易に統合できるか？
• RQ4 標準的なモデルでは欠落しているが、外部知識ベースから関連する証拠を発見・利用できるか？
• RQ5 論理的またはマルチホップ推論を要する質問に対して、モデルは単なる事実抽出を超えてどの程度の性能を示すか？

主な発見

• 常識に基づく事前学習手法は、すべての3つのQAベンチマーク（ARC、SemEval 2018 Task 11、OpenBook QA）でベースライン性能を向上させた。
• 事前学習モデルは、従来のモデルではアクセスできなかったConceptNetからの関連する証拠を発見・利用できるように、ベースラインニューラルネットワークを強化した。
• 事前学習済みの関係関数の統合により、特に間接的または明示的でない推論を要する質問において顕著な向上が得られた。
• 外部知識ベース（ConceptNet）がQAタスクの訓練データ分布と直接一致しなくても、この手法は有効に機能した。
• 誤差解析の結果、曖昧なエンティティの表記や複雑な論理的推論の処理に限界があることが判明し、曖昧性解消および意味解析の分野での改善の余地があることが示された。
• このアプローチはモジュール型かつ補完的であり、事前学習モデルとベースラインニューラルモデルを組み合わせることで、単体よりも優れた結果が得られた。