[論文レビュー] A Discrete Hard EM Approach for Weakly Supervised Question Answering

Sewon Min, Danqi Chen+2 more|arXiv (Cornell University)|Sep 11, 2019

Topic Modeling参考文献 40被引用数 16

ひとこと要約

本稿では、事前に計算された候補解の集合（例：答えのスパンや方程式）を離散的潜在変数として扱う、弱教師付き質問応答のための離散的ハードEM手法を提案する。繰り返し、現在のパラメータに基づいて最も確率の高い解を予測し、それを強化するようにモデルパラメータを更新することで、6つのQAタスクで最先端の性能を達成し、従来手法に比べて2–10%の絶対的向上を示した。特に、候補解の集合が大きくかつノイズが多い状況で優れた性能を発揮した。

ABSTRACT

Many question answering (QA) tasks only provide weak supervision for how the answer should be computed. For example, TriviaQA answers are entities that can be mentioned multiple times in supporting documents, while DROP answers can be computed by deriving many different equations from numbers in the reference text. In this paper, we show it is possible to convert such tasks into discrete latent variable learning problems with a precomputed, task-specific set of possible "solutions" (e.g. different mentions or equations) that contains one correct option. We then develop a hard EM learning scheme that computes gradients relative to the most likely solution at each update. Despite its simplicity, we show that this approach significantly outperforms previous methods on six QA tasks, including absolute gains of 2--10%, and achieves the state-of-the-art on five of them. Using hard updates instead of maximizing marginal likelihood is key to these results as it encourages the model to find the one correct answer, which we show through detailed qualitative analysis.

研究の動機と目的

• 弱教師付き質問応答における学習の課題に取り組むこと。この際、導出方法の明示的教師信号がなく、答えのテキストのみが与えられる。
• 複数の誤った導出方法（例：複数の答えの記述や方程式）が正解の答えをもたらすタスクにおけるモデル性能の向上を図ること。
• すべての選択肢の周辺尤度を最大化するのではなく、多数の妥当な候補の中から唯一の正しい解をよりよく特定できる訓練手法の開発。
• 各ステップで最も確率の高い解に注目するハードEM更新が、周辺尤度最大化手法やソフトEMと比較して、真の解へ向かう強いインダクティブバイアスをもたらすことを示すこと。

提案手法

• 各例に対して事前に計算された、可能な答えの導出方法の集合（例：ドキュメント内のスパンや数値から得られる方程式）を離散的潜在変数 Z として扱う。
• 現在のパラメータに基づいて、各訓練ステップで最も確率の高い解 z ∈ Z をモデルが予測する。
• 予測された z の尤度を最大化するようにモデルパラメータを更新し、単一の最も確率の高い解に注目するハードEM風の更新を実行する。
• 予測（Eステップ）とパラメータ更新（Mステップ）を繰り返し、収束するまで繰り返す。この過程で、モデルは徐々に正しい解に高い尤度を割り当てるようになる。
• BERTなどの強力なモデルアーキテクチャを用いて、マルチメンション読解、離散的推論（DROP）、意味解析（WikiSQL）など多様なQAタスクに本手法を適用する。
• ROUGE-Lの閾値を用いたノイズの多いZ集合のテストにより、本手法がMMLベースのベースラインよりもスパイルスな解に対して感受性が低いことを確認し、ロバスト性を確保する。

実験結果

リサーチクエスチョン

• RQ1 事前に計算された解の集合を用いた離散的潜在変数の定式化は、弱教師付きQAタスクにおける学習を改善できるか？
• RQ2 各更新ステップで最も確率の高い解に注目するハードEMは、すべての選択肢の周辺尤度を最大化する手法よりも、正しい解の特定において優れているか？
• RQ3 特にDROPやWikiSQLのようなタスクにおいて、解の集合Zに多数のスパイルスな選択肢が含まれる場合、本手法はどのように性能を発揮するか？
• RQ4 ROUGE-Lのようなヒューリスティック手法で構築されたZにノイズが含まれる場合、本手法はその影響に対してロバストか？
• RQ5 モデルはどれほど正解の解に高い尤度を割り当てるよう学習するか？また、MMLベースの学習と比較してその傾向はどうなるか？

主な発見

• 提案手法のハードEMは、TriviaQA、NarrativeQA、DROP、WikiSQLを含む6つの多様なQAタスクで、従来手法に比べ2–10%の絶対的向上を達成した。
• WikiSQLでは、最近の報酬ベースの意味解析モデルに比べ13%の絶対的向上を示し、複雑な推論タスクにおける有効性を裏付けた。
• |Z| > 3 の場合に特に効果的であり、解の集合が大きくなるほどMMLとの性能差が拡大する傾向にあり、曖昧さの処理能力の優位性が示された。
• 定性的な分析から、モデルは正解の解に高い尤度を徐々に割り当てるよう学習しており、NarrativeQAでは98%、DROP ${}_{\text{num}}$ では92%の正解予測が正しく解を特定した。
• Zのノイズに対してもロバストである：ROUGE-Lの閾値を緩めることでZのサイズを4.3から7.1に増加させたが、MMLの性能は4.93ポイント低下した一方、ハードEM手法は僅か0.80ポイントの低下にとどまった。
• モデルは時折誤った予測（例：DROPで「37-36」を「40-36」よりも優先）を行うことがあるが、自己修正を行い、ハードEMに従う動的な学習行動を示しており、整合性がある。