[論文レビュー] Connecting the Dots: A Knowledgeable Path Generator for Commonsense Question Answering

Peifeng Wang, Nanyun Peng+3 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling参考文献 41被引用数 12

ひとこと要約

本稿では、知識グラフのスパarsityを克服するために、事前微調整されたGPT-2を用いて、質問エンティティと回答エンティティの間で動的に新しい多ホップ関係的パスを生成する、知識豊富なパス生成手法を提案する。この手法は、静的知識グラフベースラインよりも最大6%のQA精度向上を達成し、特にデータが少ない状況でも有効である。生成されたパスは解釈可能で関連性が高く、新規性を保ちつつ、生成器の微調整を必要としない。

ABSTRACT

Commonsense question answering (QA) requires background knowledge which is not explicitly stated in a given context. Prior works use commonsense knowledge graphs (KGs) to obtain this knowledge for reasoning. However, relying entirely on these KGs may not suffice, considering their limited coverage and the contextual dependence of their knowledge. In this paper, we augment a general commonsense QA framework with a knowledgeable path generator. By extrapolating over existing paths in a KG with a state-of-the-art language model, our generator learns to connect a pair of entities in text with a dynamic, and potentially novel, multi-hop relational path. Such paths can provide structured evidence for solving commonsense questions without fine-tuning the path generator. Experiments on two datasets show the superiority of our method over previous works which fully rely on knowledge from KGs (with up to 6% improvement in accuracy), across various amounts of training data. Further evaluation suggests that the generated paths are typically interpretable, novel, and relevant to the task.

研究の動機と目的

• 共通の常識QAにおける静的常識知識グラフ（KG）のスパarsityと文脈化の限界を解消すること。
• KGにリンクが欠落している場合でも、質問エンティティと回答エンティティの間で動的かつ多ホップのパスを生成できることを実現すること。
• 事前学習言語モデルを用いてKG事実に一般化する知識パス生成器を導入することで、既存フレームワークを拡張し、QAパフォーマンスを向上させること。
• タスクに特化した生成器の微調整を必要とせず、構造的証拠としての役割を果たす解釈可能で新規かつ関連性のあるパスを生成すること。

提案手法

• パス品質のためのルールと制約を用いて、静的常識KG（ConceptNet）から情報量が多く関連性の高いランダムウォークを抽出する。
• 抽出されたパスを微調整対象としてGPT-2を学習させ、質問エンティティと回答エンティティの間で多ホップ関係的パスを生成する能力を習得させる。
• 一回の順伝播処理でパスをエンドツーエンドに生成し、既存のKG事実を超えて外挿できるようにする。
• 生成されたパスを統合して知識埋め込みを生成し、テキストエンコーダから得られる文脈埋め込みと統合して分類に用いる。
• グラフ情報の役割を調査するため、3つのバリアント（Global：全グラフコンテキスト、Local：制限されたコンテキスト、Scratch：外部KG入力なし）を実装する。
• 生成されたパス生成器を汎用QAフレームワークに統合し、下流の常識QAタスクへの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前学習言語モデルを有効に微調整することで、静的知識グラフの欠落リンクを埋める新規な多ホップ関係的パスを生成できるか？
• RQ2 静的KG事実に依存する場合と比較して、動的に生成されたパスを追加することで、QAシステムのパフォーマンスがどの程度向上するか？
• RQ3 特にリソースが限られた学習設定下でも、生成されたパスがどの程度解釈可能で新規かつタスクに関連性があるか？
• RQ4 グローバルなグラフコンテキストとローカルなグラフコンテキストを組み込むことで、生成パスの品質と有用性にどのような影響を与えるか？
• RQ5 パス生成器は、タスク固有の微調整を必要とせず、さまざまなQAフレームワークを強化するプラグインモジュールとして機能できるか？

主な発見

• 提案手法のパス生成器は、静的知識グラフに依存するベースラインに比べ、最大6%の共通の常識QA精度向上を達成し、特にデータが少ない状況で顕著な向上を示した。
• 本手法は限られた学習データに対して強く頑健であり、訓練データが少なるほど精度向上が顕著になることから、パス生成器による強いインダクティブバイアスが裏付けられた。
• 人的評価により、生成されたパスが解釈可能で関連性があることが確認された。例として、「調和」を「平和を築く」という妥当な推論ステップを経由して結びつける論理的つながりが示された。
• 自動評価では、元のKGに存在しない高割合の新規かつ妥当なトリプルが生成されたことが示された。例として「洞窟」→「IsA」→「地質的特徴」など。
• 全グラフコンテキストを用いるGlobalバリアントが、LocalおよびScratchバリアントを上回り、広範なKG構造へのアクセスがパス品質を向上させることを示した。
• パス生成器は、複雑な推論事例においても正しく1ホップおよび2ホップのパスを生成でき、例として「映画」→「娯楽を楽しむ」や「調和」→「平和を築く」といったつながりを的確に生成した一方で、誤ったまたは曖昧な関係を避けていた。