[論文レビュー] Contextual Aware Joint Probability Model Towards Question Answering System

Yang Liu, Lijing Song|arXiv (Cornell University)|Apr 17, 2019

Topic Modeling参考文献 9被引用数 4

ひとこと要約

本稿では、SQuAD 2.0における質問応答を改善するために、新しい共同確率予測子を備えたハイブリッド BERT-BiDAF モデルを提案する。このモデルは、答えの可能性とスパン予測の共同後確率を明示的にモデル化する。このアプローチにより、人工的な「答えなし」トークンを避けることで、標準的手法よりも洗練された推論が可能となり、テストリーダーボードでは F1 スコア 75.842%、EM スコア 72.24% を達成した。

ABSTRACT

In this paper, we address the question answering challenge with the SQuAD 2.0 dataset. We design a model architecture which leverages BERT's capability of context-aware word embeddings and BiDAF's context interactive exploration mechanism. By integrating these two state-of-the-art architectures, our system tries to extract the contextual word representation at word and character levels, for better comprehension of both question and context and their correlations. We also propose our original joint posterior probability predictor module and its associated loss functions. Our best model so far obtains F1 score of 75.842% and EM score of 72.24% on the test PCE leaderboad.

研究の動機と目的

• SQuAD 2.0 に含まれる 50,000 件の答えのない質問（答えのあるものに似せたもの）を区別する課題に対処すること。
• 人工的な「答えなし」トークンに依存する既存モデルの限界、およびスパン予測に関する暗黙の仮定を克服すること。
• 答えの可能性とスパン予測の因果関係をより自然で確率的に整合性のある方法でモデル化する共同確率フレームワークを開発すること。
• BERT の単語レベルの文脈埋め込みと、BiDAF の文字レベルの注目メカニズムを組み合わせることで、表現学習とモデル性能が向上するかどうかを調査すること。

提案手法

• BERT の文脈に適した単語埋め込みと、BiDAF の双方向注目メカニズムを統合し、単語レベルと文字レベルの文脈に適した表現を捉えるハイブリッドエンコーダーを構築する。
• 二値の答えの可能性変数 A とスパンの開始/終了変数 X₁ および X₂ の共同確率分布をモデル化する共同後確率予測子を提案する。
• 標準的なスパン予測損失関数の限界を避けるために、共同確率構造に整合するカスタム損失関数を設計する。
• BiDAF の注目フロー層を活用し、文字レベルで質問に適した文脈表現を生成することで、質問と文脈の間の相互作用を強化する。
• BERT の単語レベル表現と、BiDAF からの文字レベル特徴を統合し、異なる粒度での表現の相互強化を実現する。
• 特別な「答えなし」トークンを挿入しない。代わりに、確率的推論により、答えの可能性とスパンを同時に予測する。

実験結果

リサーチクエスチョン

• RQ1 スパンの存在に依存する答えの可能性の因果的依存関係を明示的にモデル化する共同確率モデルは、答えの可能性を別個の分類ヘッドとして扱うモデルを上回る性能を発揮できるか？
• RQ2 BERT の単語レベルの文脈埋め込みと、BiDAF の文字レベルの注目メカニズムを組み合わせることで、質問応答における表現学習がどのように向上するか？
• RQ3 共同確率予測に特化したカスタム損失関数は、SQuAD 2.0 において標準的なエントロピーに基づく損失関数よりも、モデルの性能をよりよく反映できるか？
• RQ4 単語レベルと文字レベルの表現の相互強化は、答えのない質問における一般化性能をどの程度向上させるか？
• RQ5 人工的な「答えなし」トークンを避けることで、オープンドメイン質問応答における予測の堅牢性と解釈可能性が向上するか？

主な発見

• 提案モデルは、SQuAD 2.0 のテストリーダーボードで F1 スコア 75.842%、EM スコア 72.24% を達成し、挑戦的なベンチマークで強力な性能を示した。
• カスタム損失関数を備えた共同確率予測子により、標準的手法と比較して、答えの可能性とスパン予測の間でより一貫性があり、因果的整合性のある推論が可能になった。
• アブレーションスタディの結果、BERT と BiDAF の特徴統合が性能向上に寄与しており、多様な粒度の表現の相互強化が有効であることが確認された。
• 特に「The Men in Black」のような干渉要因が注目メカニズムを誤導するケースにおいても、有効なスパンが存在しないことをよりよくモデル化することで、誤検出（偽陽性）が減少した。
• キーワード「status」が存在しないが文脈的に示唆されるケースにおいても、ベースラインモデルと比較して偽陰性が減少した。
• 強力な性能を発揮しているが、曖昧な文脈や正確でない答え境界の特定に関しては依然として課題を抱えており、スパンの局所化と文脈理解の向上の余地が示唆された。