[論文レビュー] Avoiding catastrophic forgetting in mitigating model biases in sentence-pair classification with elastic weight consolidation

James Thorne, Andreas Vlachos|arXiv (Cornell University)|Apr 29, 2020

Topic Modeling参考文献 15被引用数 10

ひとこと要約

本論文では、自然言語推論や事実検証などの文対分類タスクにおいて、事前学習モデルを微調整する際に、元のタスクの途切れ的忘却を最小限に抑えるためにエラスティック・ウェイト・コンソリデーション（EWC）を提案する。EWCは、元のデータセットにおける性能の低下を最小限に抑えつつ、顕著なバイアス低減を実現し、パレート優位な形で標準的な微調整を上回る。

ABSTRACT

The biases present in training datasets have been shown to be affecting models for a number of tasks such as natural language inference(NLI) and fact verification. While fine-tuning models on additional data has been used to mitigate such biases, a common issue is that of catastrophic forgetting of the original task. In this paper, we show that elastic weight consolidation (EWC) allows fine-tuning of models to mitigate biases for NLI and fact verification while being less susceptible to catastrophic forgetting. In our evaluation on fact verification systems, we show that fine-tuning with EWC Pareto dominates standard fine-tuning, yielding models lower levels of forgetting on the original task for equivalent gains in accuracy on the fine-tuned task. Additionally, we show that systems trained on NLI can be fine-tuned to improve their accuracy on stress test challenge tasks with minimal loss in accuracy on the MultiNLI dataset despite greater domain shift.

研究の動機と目的

• 文対分類タスクにおけるデータセットバイアスを低減するためにモデルを微調整する際の途切れ的忘却を軽減すること。
• EWCが、元のタスクのパフォーマンスを維持しつつ、バイアス低減のための微調整での精度向上を実現するかどうかを評価すること。
• EWCが、事実検証のストレステストチャレンジなど、顕著なドメインシフトが生じる状況でも効果的に機能するかを評価すること。
• EWCベースの微調整と標準的な微調整を、忘却と精度向上の観点から比較すること。

提案手法

• 微調整中にモデルパラメータを正則化するためにエラスティック・ウェイト・コンソリデーション（EWC）を適用し、元の事前学習モデルからの重要な重みを保持する。
• パラメータの重要度を推定するためにフィッシャー情報を利用する。これにより、EWCにおける正則化強度が決定される。
• 自然言語推論（NLI）および事実検証タスクにおけるバイアス低減を目的に、BERTベースのモデルを追加データで微調整する。
• 元のMultiNLIデータセットおよび下流のバイアス低減タスク（ストレステストチャレンジを含む）におけるパフォーマンスを評価する。
• パレート優位性分析を用いて、EWC微調整と標準微調整を、忘却と精度の両方の指標で比較する。
• 元のタスクおよび微調整済みタスクにおける精度を測定することで、忘却と改善の度合いを定量化する。

実験結果

リサーチクエスチョン

• RQ1 EWCは、元のタスクにおける途切れ的忘却を引き起こさずに、文対分類におけるモデルバイアスを効果的に低減できるか？
• RQ2 バイアス低減タスクにおいて、EWCベースの微調整は標準微調整と比較して、忘却と精度向上の両面で優れているか？
• RQ3 MultiNLIからストレステストチャレンジへの顕著なドメインシフトに対し、EWCはどれほどパフォーマンスを維持できるか？
• RQ4 EWCは、元のタスクでの損失を伴わずに新しいタスクでの性能向上を達成するパレート改善を可能にするか？

主な発見

• EWC微調整は、事実検証システムにおいて、標準微調整をパレート優位に上回り、微調整タスクの精度が同等または向上する中で、元のタスクにおける忘却が低減されている。
• EWCで微調整されたモデルは、MultiNLIデータセットにおけるパフォーマンスの低下が最小限に抑えられつつ、ストレステストチャレンジタスクでの精度が向上した。
• 顕著なドメインシフトが生じても、EWCを用いたモデルは元のNLIタスクで強いパフォーマンスを維持し、同時にバイアス低減ベンチマークで向上を示した。
• EWCの使用により、元の文対分類タスクにおける一般化性能を損なわず、効果的なバイアス低減が実現した。