[論文レビュー] Robust Reading Comprehension with Linguistic Constraints via Posterior Regularization

Mantong Zhou, Minlie Huang+1 more|arXiv (Cornell University)|Nov 16, 2019

Topic Modeling参考文献 14被引用数 4

ひとこと要約

本稿では、エンティティ、語彙、述語といった言語的制約を統合する事後正則化フレームワークを提案する。このフレームワークにより、意味的差異のある敵対的例および意味的に同等の敵対的例の両方に対して、読解モデルの頑健性が向上する。外部知識を活用してモデルの予測を正則化することで、過信と過敏応答を低減し、敵対的訓練データやモデル再訓練を必要とせずに一般化性能が著しく向上する。

ABSTRACT

In spite of great advancements of machine reading comprehension (RC), existing RC models are still vulnerable and not robust to different types of adversarial examples. Neural models over-confidently predict wrong answers to semantic different adversarial examples, while over-sensitively predict wrong answers to semantic equivalent adversarial examples. Existing methods which improve the robustness of such neural models merely mitigate one of the two issues but ignore the other. In this paper, we address the over-confidence issue and the over-sensitivity issue existing in current RC models simultaneously with the help of external linguistic knowledge. We first incorporate external knowledge to impose different linguistic constraints (entity constraint, lexical constraint, and predicate constraint), and then regularize RC models through posterior regularization. Linguistic constraints induce more reasonable predictions for both semantic different and semantic equivalent adversarial examples, and posterior regularization provides an effective mechanism to incorporate these constraints. Our method can be applied to any existing neural RC models including state-of-the-art BERT models. Extensive experiments show that our method remarkably improves the robustness of base RC models, and is better to cope with these two issues simultaneously.

研究の動機と目的

• 意味的差異のある敵対的例に対する過信と、意味的に同等の敵対的例に対する過敏応答という、RCモデルの二重の頑健性問題を解決すること。
• 敵対的訓練データやモデル固有のアーキテクチャに依存せずに、モデルの頑健性を向上させる手法を開発すること。
• 外部の言語的知識（例：類義語、エンティティ、述語）を事後正則化を介して予測分布に統合すること。
• 事前学習済みRCモデル（例：BERTを含む）に適用可能な汎用的なフレームワークを提供すること。
• モデルの内部層を変更せずに、語彙埋め込みの意味的シフトに起因する表現ジレンマを緩和すること。

提案手法

• spaCyとNLTKを用いて、質問と本文から品詞タギングおよび固有表現抽出により、言語的特徴（エンティティ、形容詞、副詞、動詞）を抽出する。
• ConceptNetとWordNetの意味的関係を用いて、質問と本文間のペaired言語的特徴（例：エンティティペア、類義語ペア）を生成する。
• 3種類の制約を定義する：エンティティ制約（固有表現用）、語彙制約（類義語／対義語用）、述語制約（動詞およびその意味的役割用）。
• EMアルゴリズムを用いて出力分布に制約を課すことで、事後正則化を用いた制約付き最適化問題として学習目的を定式化する。
• 言語的制約との整合性を保つペナルティ項を用いて、モデルの予測分布を正則化し、過学習を低減し、一般化性能を向上させる。
• アーキテクチャの変更なしに、推論または微調整段階の変更のみで、任意のベースRCモデル（例：BERT）にこの手法を適用可能である。

実験結果

リサーチクエスチョン

• RQ1 言語的制約は、意味的差異のある敵対的例と意味的に同等の敵対的例の両方に対して、同時に頑健性を向上させることができるか？
• RQ2 事後正則化は、神経モデルの予測にシンボリックな言語的知識を効果的に統合できるか？
• RQ3 提案手法は、訓練時に敵対的データを必要とせず、意味的に変更された入力に対する予測の過信を低減できるか？
• RQ4 敵対的訓練やエントロピー正則化と比較して、この手法は一般化性能をどの程度向上させるか？
• RQ5 このフレームワークは、アーキテクチャの変更なしに、BERTのような既存の事前学習モデルに適用可能か？

主な発見

• 提案手法は、SQuAD-ADDSENT（意味的差異あり）およびAddSentDiverse（意味的に同等）という敵対的ベンチマークの両方で、顕著な頑健性向上を達成した。
• SQuAD-ADDSENTでは、ベースラインモデルと比較して誤差率を最大28%まで低減し、過信の抑制が明確に示された。
• AddSentDiverseでは、標準的な微調整済みBERTと比較して正答率が15%向上し、意味的に同等の摂動に対する過敏応答が低減したことが示された。
• 敵対的訓練やエントロピー正則化とは異なり、本手法は一度に一つのタイプの敵対的例にのみ対処するのではなく、両方の問題に効果的に対処でき、より優れた頑健性を達成した。
• 解析の制限により28%の例で十分な言語的特徴が得られなかったものの、依然として顕著な性能向上が達成されており、制約抽出の不完全性に対しても耐性があることが示された。
• 本フレームワークはBERTを含む複数のベースモデルで有効であり、モデル固有の再訓練を必要とせずに、良好な一般化性能を示した。