[論文レビュー] Can Fine-tuning Pre-trained Models Lead to Perfect NLP? A Study of the Generalizability of Relation Extraction.

Ningyu Zhang, Luoqiu Li+5 more|arXiv (Cornell University)|Sep 14, 2020

Topic Modeling被引用数 10

ひとこと要約

本研究は、関係抽出におけるファインチューニングされた BERT の一般化限界を、ランダム化、敵対的、反事実的摂動、および選択バイアスと意味的バイアスの下での耐性評価を通じて調査する。標準ベンチマークでは高いパフォーマンスを示すが、BERT は顕著な一般化のボトルネックを示しており、将来的なモデル改善のための重要なギャップを浮き彫りにしている。

ABSTRACT

Fine-tuning pre-trained models have achieved impressive performance on standard natural language processing benchmarks. However, the resultant model generalizability remains poorly understood. We do not know, for example, how excellent performance can lead to the perfection of generalization models. In this study, we analyze a fine-tuned BERT model from different perspectives using relation extraction. We also characterize the differences in generalization techniques according to our proposed improvements. From empirical experimentation, we find that BERT suffers a bottleneck in terms of robustness by way of randomizations, adversarial and counterfactual tests, and biases (i.e., selection and semantic). These findings highlight opportunities for future improvements. Our open-sourced testbed DiagnoseRE is available in this https URL.

研究の動機と目的

• 標準ベンチマークのパフォーマンスを超えて、ファインチューニングされた BERT モデルの関係抽出における一般化能力を評価すること。
• 体系的な耐性テストを通じて、BERT の一般化における特定の失敗モードを同定すること。
• 選択バイアスと意味的バイアスが関係抽出におけるモデルの信頼性に与える影響を特定すること。
• 再現可能なモデル一般化評価を可能にするための診断用テストベッド、DiagnoseRE の開発および公開すること。

提案手法

• 標準的な関係抽出データセット上で BERT をファインチューニングし、強力なベースラインパフォーマンスを確立する。
• 入力摂動に対する感受性を評価するため、ランダム化テストを適用する。
• 標的的な入力変更に対する耐性を評価するため、敵対的攻撃を実施する。
• 入力文を変更することで反事実的テストを実施し、予測の論理的整合性を検証する。
• 異なるラベル分布を示すデータサブセット上でモデルの挙動を評価することで、選択バイアスを分析する。
• 特定の語彙的または構文的パターンへの依存度を調査することで、意味的バイアスを検討する。

実験結果

リサーチクエスチョン

• RQ1 ファインチューニングされた BERT は、関係抽出において標準ベンチマークを越えてどの程度一般化するのか？
• RQ2 ランダム化、敵対的、反事実的摂動は、BERT の予測の一貫性にどのように影響するのか？
• RQ3 選択バイアスと意味的バイアスは、BERT の一般化パフォーマンスを損なう要因として果たす役割は何か？
• RQ4 体系的な診断テストは、事前学習モデルにおける一貫した失敗モードを同定できるか？

主な発見

• ファインチューニングされた BERT は、敵対的および反事実的摂動の下で顕著なパフォーマンス低下を示しており、耐性が低いことが判明した。
• ランダム化テストにより、BERT の予測が微小な入力変化に敏感であることが明らかになり、一般化能力に制限があることが示唆された。
• 選択バイアスはモデル挙動に顕著な影響を及ぼし、関係タイプが少数派であるデータ上ではパフォーマンスが著しく低下した。
• 意味的バイアスにより、BERT は構文的・意味的推論に依存するのではなく、表面的な手がかりに依存するようになり、一般化能力が低下した。
• コアファレンスや言い換えによって文構造が変化した場合、モデルは一貫した予測を維持できなかった。
• 公開された DiagnoseRE テストベッドにより、これらの一般化の失敗を再現可能に評価できるようになった。