[論文レビュー] Accurate, yet inconsistent? Consistency Analysis on Language Understanding Models

Myeongjun Jang, Deuk Sin Kwon+1 more|arXiv (Cornell University)|Aug 15, 2021

Topic Modeling参考文献 45被引用数 7

ひとこと要約

この論文では、逆転や同義語置換などの意味を保つ摂動を適用することで、微調整された事前学習済み言語モデル（PLM）の一貫性を評価するフレームワークCALUMを紹介する。実験の結果、現在のPLMは意味的に同一の入力に対して一貫性のない予測を生成する傾向があるが、類義語識別タスクを用いたマルチタスク学習により、平均で13%の向上が得られることがわかった。

ABSTRACT

Consistency, which refers to the capability of generating the same predictions for semantically similar contexts, is a highly desirable property for a sound language understanding model. Although recent pretrained language models (PLMs) deliver outstanding performance in various downstream tasks, they should exhibit consistent behaviour provided the models truly understand language. In this paper, we propose a simple framework named consistency analysis on language understanding models (CALUM)} to evaluate the model's lower-bound consistency ability. Through experiments, we confirmed that current PLMs are prone to generate inconsistent predictions even for semantically identical inputs. We also observed that multi-task training with paraphrase identification tasks is of benefit to improve consistency, increasing the consistency by 13% on average.

研究の動機と目的

• 事前学習済み言語モデル（PLM）が意味的に同一の入力に直面した際に一貫した挙動を示すかどうかを調査すること。
• 多様な言語理解タスクや言語に対し、PLMの下限の一貫性能力を評価すること。
• 意味的テキスト類似度（STS）タスクを用いたマルチタスク学習が、モデルの一貫性を向上させるかどうかを調査すること。
• タスク固有のデータ拡張や人手による摂動に依存しない汎用的な評価フレームワークの開発。

提案手法

• 意味を保つ微小摂動（文の順序を逆転する、同義語に置換するなど）を適用するCALUMというフレームワークを提案。
• 逆転（REVERSE）および同義語ベース（SIGNAL）の摂動を用い、意味的に同等の入力ペアを生成して一貫性評価に用いる。
• MT-DNNアーキテクチャを用いたマルチタスク学習設定を採用し、エンコーダーは共有するが、タスク固有の分類器を有する。
• 主なNLPタスク（例：MNLI、QNLI、RTE）と補助的なSTSタスク（QQP、MRPC）を併用して学習させ、その一貫性への影響を評価。
• 一貫性を、摂動された入力ペア間で予測が変化しない割合として測定。
• 複数のバックボーンモデル（RoBERTa、Electra、GPT2）を用いて、単一タスクモデルとマルチタスクモデル（Multitask-ParaおよびMultitask-All）の一致と精度を比較。

実験結果

リサーチクエスチョン

• RQ1 微調整済みPLMは、意味的に同一の入力に対してどの程度不一致な予測を生成するか？
• RQ2 意味的テキスト類似度（STS）タスクを用いたマルチタスク学習が、PLMの一致を向上させられるか？
• RQ3 STSタスクを補助的目的として含める場合と、他の非STSタスクを含める場合とを比較した場合、一貫性向上の度合いに差は生じるか？
• RQ4 STSベースのマルチタスク学習による利点は、異なるモデルアーキテクチャ（例：エンコーダー型対デコーダー型）や下流タスクに一般化されるか？

主な発見

• 現在のPLMは顕著な不一致を示しており、意味的に同一の入力に対しても異なる予測を生成する傾向がある。これは、多様なタスクや言語を含む。
• STSタスク（QQPとMRPC）を用いたマルチタスク学習により、全評価タスクおよびモデルで平均13%の一致向上が得られた。
• Multitask-Paraモデル（STSタスクのみを用いる）は、単一タスクベースラインを常に上回り、特にREVERSEケースで顕著な向上を示した。これは、STSデータのみで十分な向上が得られることを示している。
• エンコーダー型モデル（RoBERTa、Electra）では、Multitask-Allモデル（全5タスクを含む）がMultitask-Paraより高い一貫性を達成したが、差は常に有意ではなかった。
• デコーダー型モデル（GPT2）では、REVERSEケースにおいてMultitask-ParaモデルがMultitask-Allモデルよりも高い一貫性を示した。これは、モデルアーキテクチャの違いが補助タスクの利用方法に影響することを示唆している。
• 一貫性の向上は、精度に顕著な低下を伴わず観察された。これは、一貫性の向上が主タスクのパフォーマンスを犠牲にすることなく達成できることを示している。