[論文レビュー] Using Ternary Rewards to Reason over Knowledge Graphs with Deep Reinforcement Learning.

Fréderic Godin, Anjishnu Kumar+1 more|arXiv (Cornell University)|Feb 26, 2019

Topic Modeling参考文献 5被引用数 4

ひとこと要約

本論文は、知識グラフ質問応答における深層強化学習エージェント向けに、二値報酬を三値報酬に置き換える三値報酬メカニズムを提案する。三値報酬とは、正解、誤答、または不確実な場合の放棄（回答を控えること）の三つの結果である。不確実性が高い場合に回答を控えることで、精度は著しく向上し、リCALLはほとんど損なわれない。標準的な指標では現実世界の状況における信頼性をモデル化できないが、本手法はその点を改善する。

ABSTRACT

In this paper, we investigate the challenges of using reinforcement learning agents for question-answering over knowledge graphs for real-world applications. We examine the performance metrics used by state-of-the-art systems and determine that they are inadequate for such settings. More specifically, they do not evaluate the systems correctly for situations when there is no answer available and thus agents optimized for these metrics are poor at modeling confidence. We introduce a simple new performance metric for evaluating question-answering agents that is more representative of practical usage conditions, and optimize for this metric by extending the binary reward structure used in prior work to a ternary reward structure which also rewards an agent for not answering a question rather than giving an incorrect answer. We show that this can drastically improve the precision of answered questions while only not answering a limited number of previously correctly answered questions. Employing a supervised learning strategy using depth-first-search paths to bootstrap the reinforcement learning algorithm further improves performance.

研究の動機と目的

• 知識グラフ上の質問応答エージェントの評価において、未回答の質問が一般的な現実世界の状況を適切に反映できない既存の性能指標の不備を是正すること。
• 現実世界の展開状況において信頼性と放棄の選択が重要であることを反映した、新たな評価指標を設計すること。
• 三値報酬構造を用いて、この新しい指標を最適化する強化学習フレームワークを開発すること。
• 不確実性がある場合に放棄を許容することで、精度を向上させつつリCALLの損失を最小限に抑えること。
• 深さ優先探索パスを教師ありで事前微調整することで、学習効率を向上させること。

提案手法

• 標準的な二値報酬設定を、三値報酬構造に拡張：正解には+1、誤答には-1、自信がない場合は回答を控える（0）と定義。
• 強化学習の目的関数を見直し、誤答の最小化と正解回答・放棄の最大化を優先するように設計。
• 不確実性が高い場合に回答を控えることを学習する信頼性に配慮した方策を導入し、三値報酬信号によってモデル化。
• 知識グラフからの深さ優先探索パスを教師ありで微調整してエージェントの方策を初期化し、収束を加速。
• 深層Qネットワーク（DQN）を用い、報酬関数を変更することで、質問応答タスクに対してエンドツーエンドでエージェントを学習。
• 誤答に対してペナルティを与え、放棄に対して報酬を与える新しい指標を用いて性能を評価し、現実世界の展開要件をより適切に反映。

実験結果

リサーチクエスチョン

• RQ1 標準的な二値報酬指標は、未回答の質問が一般的な現実世界の質問応答シナリオをどのように反映していないのか？
• RQ2 放棄を含む三値報酬構造は、知識グラフQAエージェントの精度と信頼性を向上させることができるか？
• RQ3 放棄を有効な行動として導入することで、誤答をどれほど削減できるか、一方で回答数の減少はどの程度か？
• RQ4 教師ありDFSパスによる事前学習は、三値報酬強化学習エージェントの収束性と性能にどのように影響するか？
• RQ5 提案された指標は、既存の評価ベンチマークよりも実際の展開状況をより適切に反映しているか？

主な発見

• 三値報酬メカニズムにより、エージェントが不確実性がある場合に放棄することで、誤答が著しく減少し、回答精度が向上した。
• 本手法は高いリCALLを維持しており、以前に正しく回答された質問のほぼすべてに応答しており、新たに放棄された質問は限定的であった。
• 新しい評価指標は、信頼性と未回答の質問を考慮することで、現実世界の性能を標準指標よりも適切に捉えている。
• 教師ありDFSパスによる事前学習により、学習が加速し、特に初期段階の性能向上が顕著に見られた。
• 三値報酬で学習したエージェントは、二値報酬で学習したエージェントよりも精度と信頼性のキャリブレーションの両面で優れている。
• 本手法は、放棄に報酬を与えることが、知識グラフ質問応答システムの耐障害性を向上させる有効で実用的な戦略であることを示している。