[論文レビュー] To Tune or Not To Tune? How About the Best of Both Worlds?

Ran Wang, Haibo Su+3 more|arXiv (Cornell University)|Jul 9, 2019

Topic Modeling参考文献 36被引用数 15

ひとこと要約

本稿では、事前学習言語モデルのための2段階適応手法を提案する。まず、固定されたBERTパラメータを用いてタスク固有のヘッドを訓練し、その後、ヘッドとBERTを同時に微調整する。この手法は一貫した精度向上を達成し、文脈的類似度で4.7%、系列ラベル付けで0.99%、テキスト分類で0.72%の向上を示し、標準的な微調整のみの戦略を上回ることを示している。

ABSTRACT

The introduction of pre-trained language models has revolutionized natural language research communities. However, researchers still know relatively little regarding their theoretical and empirical properties. In this regard, Peters et al. perform several experiments which demonstrate that it is better to adapt BERT with a light-weight task-specific head, rather than building a complex one on top of the pre-trained language model, and freeze the parameters in the said language model. However, there is another option to adopt. In this paper, we propose a new adaptation method which we first train the task model with the BERT parameters frozen and then fine-tune the entire model together. Our experimental results show that our model adaptation method can achieve 4.7% accuracy improvement in semantic similarity task, 0.99% accuracy improvement in sequence labeling task and 0.72% accuracy improvement in the text classification task.

研究の動機と目的

• 2段階のトレーニング戦略（BERTを固定した状態でタスクヘッドを事前学習し、その後ヘッドとBERTを同時に微調整する）が、標準的な微調整のみの戦略よりも優れたパフォーマンスをもたらすかどうかを調査すること。
• 特に、単純なヘッド追加や単語埋め込みベースの戦略と比較して、事前学習言語モデルの上位に構築されたアーキテクチャ設計の影響を評価すること。
• 大規模な事前学習モデルを用いたディープな転移学習における、過学習の緩和と勾配の流れの役割を調査すること。
• BERTの表現構造に適合させた複雑なニューラルネットワークをBERTの上に積み重ねることで、単純な微調整を超えるパフォーマンス向上が達成できるかどうかを特定すること、特にその場合の有効性を検討すること。

提案手法

• 最初に、訓練と検証精度の乖離をモニタリングすることで過学習を防ぐために、BERTのパラメータを固定した状態でタスク固有のニューラルネットワークヘッドを収束するまで訓練する。
• 次に、BERTエンコーダーとタスク固有のヘッドを同時に微調整することで、パラメータの整合性を向上させる。
• 初期のヘッド訓練段階ではBERTを固定し、その後エンドツーエンドの微調整で全パラメータを更新する2段階のトレーニングスケジュールを採用する。
• BIMPMの変種と、マッチング層で双方向LSTMをTransformerに置き換えたSim-Transformerの変種を含む、複数のネットワークアーキテクチャをBERTの上に設計・評価する。
• 最初の段階で検証性能に基づいて早期停止を適用し、共同微調整の前に過学習を防ぐ。
• 3つのNLPタスク（文脈的類似度、系列ラベル付け、テキスト分類）において、標準的な微調整のみのベースラインとBERTのみの固定表現とを比較する。

実験結果

リサーチクエスチョン

• RQ1 BERTを固定した状態でヘッドを事前学習し、その後ヘッドとBERTを同時に微調整する2段階トレーニング戦略が、標準的な微調整のみの戦略よりも優れたパフォーマンスをもたらすか？
• RQ2 BIMPMの双方向LSTMをTransformerに置き換えるなどの、BERT上でのアーキテクチャの変更が、提案された2段階トレーニングと組み合わせることでパフォーマンス向上をもたらすか？
• RQ3 異なるデータスケールを持つさまざまなNLPタスクにおいて、スタック＆微調整のパフォーマンスは微調整のみの戦略と比べてどの程度優れているか？
• RQ4 高パラメータ数の大きな事前学習モデルを微調整する際、過学習を防ぐために最も効果的なトレーニング戦略は何か？
• RQ5 事前学習モデルの深さと構造が、上位のニューラルネットワークの設計と有効性にどの程度影響を与えるか？

主な発見

• 提案されたスタック＆微調整手法は、微調整のみのベースラインと比較して、文脈的類似度タスクで4.7%の精度向上を達成した。
• 系列ラベル付けタスクでは、微調整のみのアプローチと比較して0.99%の精度向上を示した。
• テキスト分類タスクでは、微調整のみの方法と比較して0.72%の精度向上を達成した。
• BIMPMの双方向LSTMをTransformerに置き換えたSim-Transformerモデルは、共同微調整後にBIMPMを上回ったが、BERTを固定した状態では低い性能にとどまった。
• BIMPMの最初の双方向LSTM層を削除してもパフォーマンスにほとんど影響がなかったため、BERTの表現はすでに非常に表現力に富んでいることが示された。
• 2段階トレーニング戦略は過学習を効果的に低減し、一般化性能を向上させた。特に、訓練と検証精度の乖離を注意深くモニタリングすることで、その有効性が顕著に現れた。