[論文レビュー] To Tune or Not to Tune? Adapting Pretrained Representations to Diverse Tasks

Matthew E. Peters, Sebastian Ruder+1 more|arXiv (Cornell University)|Mar 14, 2019

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文は、ELMo や BERT のような事前学習済み言語モデルを下流の NLP タスクに適応させる際、微調整を行うか、特徴抽出を行うかを検討する。pretraining タスクとターゲットタスクの類似度が高くても低くても微調整が特徴抽出を上回るが、中程度の類似度では特徴抽出で十分である。選択はモデルアーキテクチャではなく、タスクの類似度に依存する。

ABSTRACT

While most previous work has focused on different pretraining objectives and architectures for transfer learning, we ask how to best adapt the pretrained model to a given target task. We focus on the two most common forms of adaptation, feature extraction (where the pretrained weights are frozen), and directly fine-tuning the pretrained model. Our empirical results across diverse NLP tasks with two state-of-the-art models show that the relative performance of fine-tuning vs. feature extraction depends on the similarity of the pretraining and target tasks. We explore possible explanations for this finding and provide a set of adaptation guidelines for the NLP practitioner.

研究の動機と目的

• 多様な NLP タスクにわたる事前学習済み言語モデルの最適な適応戦略（特徴抽出または微調整）を特定すること。
• pretraining タスクとターゲットタスクの類似度が、微調整と特徴抽出の相対的性能に与える影響を調査すること。
• 実証的根拠に基づいたガイドラインを実務家に提供すること。
• 診断分類器と相互情報量を用いて、適応過程における BERT や ELMo の異なる層に含まれる情報量を分析すること。
• 微調整がより高い計算コストであるにもかかわらず、特定のタスク状況でなぜ性能が優れているのかを理解すること。

提案手法

• 事前学習済みモデル ELMo と BERT の両方に対して、重みを凍結する特徴抽出と、重みを更新する微調整を実証的に比較する。
• 7つの多様な NLP タスクで評価する：名前付きエンティティ認識（CoNLL-2003）、センチメント分析（SST-2）、自然言語推論（MultiNLI、SICK-E）、並記検出（MRPC）、文の意味的類似度（STS-B、SICK-R）。
• 各層の隠れ表現に訓練された診断分類器を用い、言語的性質がモデルの特徴にどの程度正しくエンコードされているかを評価する。
• EDGE推定法を用いて隠れ層の活性化とタスクラベル間の相互情報量（MI）を計算し、適応過程における情報フローを定量化する。
• 電話会話、小説、政府文書などの異なるpretrainingドメインでの性能を分析し、ドメインシフトの影響を評価する。
• 微調整の安定性と性能を向上させるために、特徴的微調整と三角学習率スケジュールを適用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みモデルを下流タスクに適応させる際、どのような条件下で微調整が特徴抽出を上回るか？
• RQ2 pretraining タスクとターゲットタスクの類似度が、微調整と特徴抽出の相対的性能にどのように影響するか？
• RQ3 モデルアーキテクチャのどの層（すなわち、どのレイヤー）にタスク関連情報が最も集中しているか？（微調整前後で比較）
• RQ4 微調整過程で、隠れ表現とラベル間の相互情報量はどのように変化するか？これは知識獲得のプロセスに何を示唆するか？
• RQ5 特徴抽出と微調整の選択は、モデルアーキテクチャ（例：ELMo 対 BERT）やタスクタイプ（例：系列ラベル付け対文対タスク）に依存するか？

主な発見

• pretraining タスクとターゲットタスクが非常に類似している（例：NLI と NLI の pretraining）か、非常に類似していない（例：NLI pretraining を系列ラベル付けタスクに適用）場合、微調整が特徴抽出を上回る。
• pretraining タスクとターゲットタスクが中程度に類似している場合（例：センチメント分析や名前付きエンティティ認識）、特徴抽出の性能は微調整と同等である。
• 微調整済み表現における診断分類器の性能は、すべての層で向上し、単一文タスク（例：CoLA、SST-2）では最終層で特に顕著な向上を示す。一方、文対タスク（例：MRPC）では中間層および最終層にわたり段階的な改善が見られる。
• 微調整済み表現とラベル間の相互情報量は、事前学習済み表現よりも顕著に高く、特に深層部で顕著である。これは、微調整がタスク関連信号の伝達を強化していることを示している。
• BERT において、異なるドメイン（例：政府文書）で微調整した場合、別のドメイン（例：旅行関連）で評価すると性能が低下するが、それでも微調整は特徴抽出を上回る。
• 文対タスクでは、微調整と特徴抽出の相対的性能差が最も顕著であり、事前学習済み表現の上位層にタスク関連信号がほとんど存在しないため、微調整の必要性が裏付けられる。