[論文レビュー] Analyzing Language Learned by an Active Question Answering Agent

Christian Buck, Jannis Bulian+5 more|arXiv (Cornell University)|Jan 23, 2018

Topic Modeling参考文献 12被引用数 3

ひとこと要約

本稿では、強化学習を用いて訓練されたアクティブQAエージェントが、ブラックボックスQAシステムと連携する際、回答品質を向上させるために言語をどのように適応させるかを調査している。エージェントは、より自然な言語ではなく、情報検索に類似した再表現——項目の再重み付け、語幹の抽出、繰り返しを強調——を学習する。これは、自然言語の流暢さを採用するのではなく、古典的な情報検索技術を再発見していることを示している。

ABSTRACT

We analyze the language learned by an agent trained with reinforcement learning as a component of the ActiveQA system [Buck et al., 2017]. In ActiveQA, question answering is framed as a reinforcement learning task in which an agent sits between the user and a black box question-answering system. The agent learns to reformulate the user's questions to elicit the optimal answers. It probes the system with many versions of a question that are generated via a sequence-to-sequence question reformulation model, then aggregates the returned evidence to find the best answer. This process is an instance of \emph{machine-machine} communication. The question reformulation model must adapt its language to increase the quality of the answers returned, matching the language of the question answering system. We find that the agent does not learn transformations that align with semantic intuitions but discovers through learning classical information retrieval techniques such as tf-idf re-weighting and stemming.

研究の動機と目的

• 強化学習で訓練されたアクティブQAエージェントにおける言語の進化を理解すること。
• エージェントが人間の自然言語を学習するのではなく、パフォーマンス向上のための代替的な言語戦略を学習するかどうかを調査すること。
• エージェントの再表現が、古典的な情報検索技術をどの程度反映しているかを特定すること。
• QAシステム内における機械同士の通信において、流暢さと効果性の役割を評価すること。

提案手法

• エージェントは、ブラックボックスQAシステムが返す回答のF1スコアを最適化するために方策勾配強化学習で訓練されたシーケンス・トゥ・シーケンスの質問再表現モデルを用いる。
• 再表現器は複数の質問バリエーションを生成し、回答ランク付けモデルによってスコア付けされ、最良の候補が選ばれる。
• システムは、元のJeopardy!クイズがキーワードに類似したクエリに事前処理されたSearchQAデータセットで評価される。
• 言語の流暢さは、事前学習済み言語モデルの各トークンの負の対数尤度で測定される。
• 語句頻度（TF）、文書頻度（DF）、および語形変化（語幹抽出）は、元のクエリ、ベースNMTの再表現、およびAQAが生成した再表現の間で分析される。
• 統計的分析（t検定）により、再表現タイプ間での言語的特徴の有意差が確認された。

実験結果

リサーチクエスチョン

• RQ1 強化学習で訓練されたアクティブQAエージェントが使用する言語は、自然言語および初期のパラフレーズモデルとどのように異なるか？
• RQ2 エージェントの再表現が、tf-idf再重み付けや語幹抽出といった古典的な情報検索技術をどの程度反映しているか？
• RQ3 なぜエージェントは流暢でない、繰り返しのある、または語形が単純化された表現を、流暢で文法的に正しい質問よりも好むのか？
• RQ4 報酬関数に流暢さのインcentiveがない場合、エージェントは自然言語ではなく情報検索スタイルの戦略を発見するのか？
• RQ5 エージェントの質問の表面的形態は、BiDAFのような現代の深層QAモデルの内部メカニズムとどのように関連しているか？

主な発見

• AQAエージェントの再表現は、SearchQAの元のクエリおよびベースNMTのパラフレーズと比較して顕著に流暢さに欠け、言語モデルの尤度が低く（負の対数尤度が高くなる）て示されている。
• 流暢さが低下しているにもかかわらず、AQAの最良の仮説はテストセットで元のSearchQAクエリよりも2%のF1スコアで優れていることから、効果性が向上していることが示された。
• AQAが生成した再表現の99.8%が「What is name」で始まっており、これは元のクエリおよびベースNMTのクエリに見られないパターンである。これは名前エンティティを標的とする学習済み戦略を示唆している。
• AQAの再表現では12.5%の語形変化が観察され、SearchQAと比較して同じ語幹を持つ語の数が2倍に増加しており、体系的な語幹抽出行動が確認された。
• エージェントは繰り返しによる語句頻度（TF）の増加（平均1.2）と、低い文書頻度（DF）の語を好むことで、tf-idf再重み付けの原則に一致している。
• エージェントは、意味的に無意味な表面的変形（例：'dense' から 'densey'）を生成するが、BiDAFのような文字ベースのエンコーダーでは依然として効果的に処理される可能性がある。