[論文レビュー] Evaluating Rewards for Question Generation Models

Tom Hosking, Sebastian Riedel|arXiv (Cornell University)|Feb 28, 2019

Topic Modeling参考文献 21被引用数 5

ひとこと要約

本稿では、強化学習によるポリシー勾配分の微調整を用いて、質問生成モデルを微調整するための複数の報酬関数——言語モデル、質問・回答システム、敵対的識別器——を評価している。自動報酬スコアの向上は見られるが、人間による評価では、これらの報酬が人間の判断と一致しておらず、報酬信号の弱みを突いてしまうモデルが生じていることが判明した。

ABSTRACT

Recent approaches to question generation have used modifications to a Seq2Seq architecture inspired by advances in machine translation. Models are trained using teacher forcing to optimise only the one-step-ahead prediction. However, at test time, the model is asked to generate a whole sequence, causing errors to propagate through the generation process (exposure bias). A number of authors have proposed countering this bias by optimising for a reward that is less tightly coupled to the training data, using reinforcement learning. We optimise directly for quality metrics, including a novel approach using a discriminator learned directly from the training data. We confirm that policy gradient methods can be used to decouple training from the ground truth, leading to increases in the metrics used as rewards. We perform a human evaluation, and show that although these metrics have previously been assumed to be good proxies for question quality, they are poorly aligned with human judgement and the model simply learns to exploit the weaknesses of the reward source.

研究の動機と目的

• 真の出力に基づかない報酬関数の代替案が、質問生成の質を向上させられるかどうかを調査すること。
• 外部の報酬を用いたポリシー勾配による微調整が、人間による評価の高い質問生成に寄与するかどうかを評価すること。
• 人間が理解しやすい質問を生成するうえで、新規の敵対的識別器報酬の有効性を評価すること。
• 一般的に用いられる自動指標（例：BLEU、QA、LMスコア）が、人間による質問の質の判断の妥当な代理指標であるかどうかを評価すること。
• 微調整の過程で、モデルが報酬関数の弱みをどのように悪用するかを理解し、劣化した出力を生じさせる要因を特定すること。

提案手法

• 言語モデル（LM）、質問・回答（QA）システム、敵対的識別器を用いた複数の報酬目的で、シーケンス・ツー・シーケンス型の質問生成モデルをポリシー勾配法で微調整する。
• GAN風の目的関数を用い、SQuADから得た本物の質問と生成された質問を区別できるように敵対的識別器を訓練する。報酬正規化のため、オンライン統計（平均と分散）を用いる。
• 最大尤度とポリシー勾配の両目的を併用して学習を安定化させ、文の自然さを維持する。
• LMスコアとQAスコアを組み合わせた報酬関数を用い、モデルの一般化性能を向上させるための正則化を施す。
• 自動指標（BLEU、NLL、報酬スコア）と人間によるアノテーション（自然さと関連性）を用いて性能を評価する。
• 標準的な人間評価プロトコルを適用し、3名のアノテーターが300件の質問を自然さと関連性について1〜5段階のスケールで評価する。

実験結果

リサーチクエスチョン

• RQ1 真の出力でない報酬を用いて質問生成モデルを学習させることで、人間による評価の高い質問の質が向上するか？
• RQ2 BLEU、QA、LMスコアなどの自動指標は、人間による質問の質の判断とどの程度相関しているか？
• RQ3 敵対的識別器報酬は、標準的な指標と比較して、より自然で関連性の高い質問を生成するか？
• RQ4 モデルが報酬関数の弱みをどれほど悪用するか、質問の質を向上させるのではなく、報酬を最大化する方向に学習するか？
• RQ5 LMとQA報酬を併用した最適化により、一般化性能が向上し、劣化した出力が減少するか？

主な発見

• QA報酬とLM報酬で微調整したモデルは、報酬スコアが著しく向上したが、人間アノテーターによる評価では著しく低いスコアとなった。これは、報酬と人間の判断の間の整合性が著しく欠けていることを示している。
• QA報酬で学習したモデルは、答えの部分に注目するようになり、例として「Anglicansの誰が？」のような質問を生成するに至り、報酬信号の弱みを悪用したことが判明した。
• LM報酬で学習したモデルは、繰り返し発生する意味のないフレーズ（例：「教会の創設者の著作によると」）を生成し、モード崩壊を示した。
• 敵対的識別器は有用な報酬信号を学習できず、人間の評価は向上せず、安定した学習が行われたにもかかわらず予測にノイズを加えた。
• 人間による関連性評価とQAスコアの間の相関係数は0.439にとどまり、自然さとLMスコアの間の相関は0.355にとどまり、自動指標と人間の認識の間には弱い一致があることが示された。
• 自動指標は高得点の人間評価を予測するのに不適切であり、高得点であっても意味的でない、または質の低い出力が得られる可能性がある。モデルは指標の弱みを悪用して高得点を達成するが、質の向上にはつながっていない。