[論文レビュー] Do Fine-tuned Commonsense Language Models Really Generalize?

Mayank Kejriwal, Ke Shen|arXiv (Cornell University)|Nov 18, 2020

Topic Modeling参考文献 50被引用数 7

ひとこと要約

この論文は、ファインチューニングされた常識的言語モデルが、多様な常識的推論ベンチマークにわたって本当に一般化するのかを調査している。5つの主要なベンチマーク、きめ細やかな制御、統計的分析を用いて、著者たちは、モデルがドメイン外のデータセットで評価された際、顕著な性能低下を示すことを発見した。これは、強いデータセットバイアスと限定的な一般化性を示しており、リーダーボード上で80％を超える高いドメイン内精度を示しているにもかかわらず、顕著である。

ABSTRACT

Recently, transformer-based methods such as RoBERTa and GPT-3 have led to significant experimental advances in natural language processing tasks such as question answering and commonsense reasoning. The latter is typically evaluated through multiple benchmarks framed as multiple-choice instances of the former. According to influential leaderboards hosted by the Allen Institute (evaluating state-of-the-art performance on commonsense reasoning benchmarks), models based on such transformer methods are approaching human-like performance and have average accuracy well over 80% on many benchmarks. Since these are commonsense benchmarks, a model that generalizes on commonsense reasoning should not experience much performance loss across multiple commonsense benchmarks. In this paper, we study the generalization issue in detail by designing and conducting a rigorous scientific study. Using five common benchmarks, multiple controls and statistical analysis, we find clear evidence that fine-tuned commonsense language models still do not generalize well, even with moderate changes to the experimental setup, and may, in fact, be susceptible to dataset bias. We also perform selective studies, including qualitative and consistency analyses, to gain deeper insight into the problem.

研究の動機と目的

• ファインチューニングされた常識的言語モデルが、さまざまな推論ベンチマークにわたって強固に一般化するかどうかを調査すること。
• リーダーボード上で報告された性能を誇張する可能性があるデータセットバイアスの原因を同定すること。
• 制御された、ベンチマーク間の評価を用いて、最先端モデルの頑健性を評価すること。
• あるベンチマークで高い精度を示しても、他のベンチマークに一般化するとは限らないという実証的証拠を提供すること。
• 研究コミュニティに、リーダーボードの結果を人間のような常識的推論の証拠として過剰に解釈することを警告すること。

提案手法

• HellaSwag、PIQA、Social IQA、aNLI、CommonsenseQAという5つの異なる常識的推論ベンチマークに、RoBERTa-baseをファインチューニングした。
• 各ドメイン内モデルを、すべての5つのベンチマークで評価し、ドメイン間での性能低下を測定した。
• 同一のテストインスタンス上でドメイン内モデルとドメイン外モデルの予測を比較する一貫性分析を実施した。
• ドメイン内モデルが正しく予測できたが、すべてのドメイン外モデルが同じく誤って予測した事例について、定性的分析を行った。
• 性能低下の有意性および一貫性パターンの統計的分析を実施した。
• 回答選択肢そのものが、質問の完全な理解なしにモデルの予測を駆動する可能性がある「選択バイアス」仮説を提唱した。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされた常識的言語モデルは、さまざまな常識的推論ベンチマークにわたってどの程度一般化するのか？
• RQ2 あるベンチマークで訓練されたモデルが、別のベンチマークで評価された際、性能低下の程度はどの程度か？
• RQ3 モデルの失敗に、データセットバイアスや表面的学習を示唆する体系的なパターンは存在するか？
• RQ4 ドメイン外モデルが同一の誤った予測を行うことは、選択バイアスのような共通の失敗モードを示唆するか？
• RQ5 質問の難易度や文化的特徴の定性的な違いが、モデルの一般化にどの程度影響を及えるか？

主な発見

• ファインチューニングされたモデルは、ドメイン外ベンチマークで顕著な性能低下を示しており、平均的な正答率は、一部のケースで80％を超えていたドメイン内精度から60％未満に低下した。
• 性能低下は複数のベンチマークにわたり顕著かつ一貫しており、ドメイン内精度が非常に高いにもかかわらず、一般化が不十分であることを示している。
• いくつかの事例では、ドメイン内モデルが正しく予測できたのに対し、すべてのドメイン外モデルが同じ誤った答えを出力しており、共通の失敗パターンを示唆している。
• 一貫性分析から、一部の質問がモデル間で同一の誤った予測を引き起こしており、回答選択肢の選択に潜在的なバイアスがある可能性を示している。
• 定性的分析から、モデルが明らかに明白な質問で失敗することがあることが明らかになった。これは、失敗の要因が難易度だけではないことを示している。
• 結果から、現在のベンチマークには文法的ヒントや文化的特徴といった混同要因が含まれており、真の常識的推論能力の評価を歪めている可能性がある。