[論文レビュー] Measuring and Improving Consistency in Pretrained Language Models

Yanai Elazar, Nora Kassner+5 more|arXiv (Cornell University)|Feb 1, 2021

Topic Modeling参考文献 77被引用数 32

ひとこと要約

この論文は ParaRel を導入し、事前学習済み言語モデル（PLMs）の一貫性をパラフレーズクローズパターンを通じて測定し、モデル間で広範な不整合を見出し、KL発散に基づく一貫性損失を提案して改善する。

ABSTRACT

Consistency of a model -- that is, the invariance of its behavior under meaning-preserving alternations in its input -- is a highly desirable property in natural language processing. In this paper we study the question: Are Pretrained Language Models (PLMs) consistent with respect to factual knowledge? To this end, we create ParaRel, a high-quality resource of cloze-style query English paraphrases. It contains a total of 328 paraphrases for 38 relations. Using ParaRel, we show that the consistency of all PLMs we experiment with is poor -- though with high variance between relations. Our analysis of the representational spaces of PLMs suggests that they have a poor structure and are currently not suitable for representing knowledge robustly. Finally, we propose a method for improving model consistency and experimentally demonstrate its effectiveness.

研究の動機と目的

• 意味を保つパラフレーズの下でPLMsが一貫した事実予測を維持するかを評価する。
• ParaRel を導入、38のリレーションと328パターンの高品質なパラフレーズベースのベンチマーク。
• BERT、RoBERTa、ALBERTにおける知識抽出と一貫性を評価。
• 未知のリレーションに対するモデルの一貫性を改善するための一貫性損失を提案・検証。

提案手法

• データ三つ組 D_i とリレーション r_i のパラフレーズパターン P_i を用いた一貫性フレームワークを、KBオブジェクトへの候補セットを制限して定義する。
• base patterns を拡張し、LPAQA パラフレーズ、SPIKE由来のパターン、専門家によるキュレーションを組み込み、相互評価の高い一致を確保して ParaRel を構築する。
• 複数のPLMに対して一貫性（Consistency）、知識（Accuracy）、結合指標（Consistent-Acc）を評価する。
• パターン別出力分布間の二辺 KL 発散に基づく一貫性損失を MLM 損失と組み合わせ、リレーションごとにバッチ処理で訓練する。

実験結果

リサーチクエスチョン

• RQ1 PLM の挙動は事実クエリのパラフレーズ様の変化に不変か？
• RQ2 ParaRel は多様なリレーションとパターンの一貫性をどれだけ捉えられるか？
• RQ3 専用の一貫性損失は未知のリレーションでのパターン間の合意を改善できるか？

主な発見

• PLMs はリレーションごとに高いばらつきがあり全体的に一貫性が低い。
• この設定では RoBERTa や ALBERT より BERT-based models が一般に一貫性と正確性を高く達成する。
• 一貫性と正確性はモデル間で正の相関があるが、より大きな訓練データが必ずしも一貫性を向上させるとは限らない（例外あり）。
• 構文的頑健性は存在するが、知識抽出は表層的な変化に敏感なままであり、構文以上の表層形の効果を示している。
• 提案された一貫性損失を適用すると未知のリレーションでの一貫性が改善される（研究からのエビデンス）。