[論文レビュー] QAInfomax: Learning Robust Question Answering System by Mutual Information Maximization

Yi‐Ting Yeh, Yun-Nung Chen|arXiv (Cornell University)|Aug 31, 2019

Topic Modeling参考文献 18被引用数 7

ひとこと要約

本稿では、質問・回答の間の相互情報量を最大化する正則化手法QAInfomaxを提案する。この手法により、モデルがより深く一般化可能な表現を学習するよう促され、敵対的Adversarial-SQuADベンチマークにおいて追加の学習データなしで性能が著しく向上し、最先端の結果を達成する。

ABSTRACT

Standard accuracy metrics indicate that modern reading comprehension systems have achieved strong performance in many question answering datasets. However, the extent these systems truly understand language remains unknown, and existing systems are not good at distinguishing distractor sentences, which look related but do not actually answer the question. To address this problem, we propose QAInfomax as a regularizer in reading comprehension systems by maximizing mutual information among passages, a question, and its answer. QAInfomax helps regularize the model to not simply learn the superficial correlation for answering questions. The experiments show that our proposed QAInfomax achieves the state-of-the-art performance on the benchmark Adversarial-SQuAD dataset.

研究の動機と目的

• 訓練データにおける表面的な相関に依存する現代の質問応答モデルの限界を解消すること。
• 特に意味的に関連するが答えとは無関係な分散文に対してモデルのロバスト性を向上させること。
• 意味的な文脈に敏感な表現を学習するよう促す正則化手法を開発すること。
• 抽出型QAにおける表現学習に、深層インフォマックスに基づく相互情報量推定を適用すること。

提案手法

• QAInfomaxは、深層インフォマックス（DIM）フレームワークを変更したニューラル推定器を用いて、本文、質問、回答の間の相互情報量（MI）を最大化する。
• 正例（結合分布）と負例（周辺分布の積）を区別するための識別器ネットワークを採用し、安定なMI推定のための二値交差エントロピー損失を用いる。
• 二つの制約を導入する：局所的整合性（LC）は回答表現を質問および本文と一致させるためのもので、グローバル整合性（GC）は全体の表現を一致させるためのものである。
• GC部では、表現をプーリングする要約関数（例：平均、最大、サンプリング）を用い、アーキテクチャ選択に対してよりロバストになるようにする。
• MI推定には、前向きおよび逆向きのMI項を組み合わせた、変更を加えた下界を用いることで、実験的性能が向上する。
• 正則化項は、標準的な交差エントロピー損失と共同最適化することで、BERTベースのQAモデルに統合され、安定性と性能を最適化するハイパーパrameterが調整されている。

実験結果

リサーチクエスチョン

• RQ1 相互情報量最大化は、敵対的分散文に対して質問応答モデルのロバスト性を向上させ得るか？
• RQ2 MIに基づく正則化は、訓練データにおける表面的な語彙的相関に過剰適合するのを防げるか？
• RQ3 生成損失関数などの既存手法と比較して、QAInfomaxは敵対的ベンチマークにおける一般化性能をどのように向上させるか？
• RQ4 異なるMI推定戦略および要約関数の選択が、モデル性能および学習効率に与える影響は何か？

主な発見

• QAInfomaxはAdversarial-SQuADデータセットで最先端の性能を達成し、AddSentでは54.5のF1スコア、AddOneSentでは64.9を記録し、vanilla BERTや先行手法を上回った。
• AddSentでは54.5（BERTは51.0）と顕著な向上を示し、最悪ケースの敵対的例に対して強い耐性を示した。
• 局所的整合性（LC）とグローバル整合性（GC）の両方が不可欠であることがアブレーション実験で示され、いずれかを削除すると性能が低下した。
• GCの要約関数として平均（Mean）を使用した場合が最も高い性能を示したが、最大（Max）およびサンプリング（Sample）も競争力を持っており、アーキテクチャ選択に対して頑健であることが示された。
• 標準的なSQuAD性能に悪影響を与えることなく、ロバスト性が向上したため、標準的な学習目的と相性が良いことが示された。
• GCの導入により学習速度が28%低下したが、敵対的ロバスト性の著しい向上を考えれば、そのトレードオフは妥当である。