[論文レビュー] A Closer Look at How Fine-tuning Changes BERT

Yichu Zhou, Vivek Srikumar|arXiv (Cornell University)|Jun 27, 2021

Natural Language Processing Techniques被引用数 6

ひとこと要約

この論文は、プローブ技術を用いて、微調整がBERTの表現空間に与える影響を調査し、微調整が分類性能を向上させる理由として、クラス間距離を拡大し、類似ラベルをクラスタリングすることで、元の幾何的構造をほとんど維持したまま、分類性能を向上させることを明らかにした。また、微調整によってトレーニングとテストの表現の乖離が増大する稀な事例において、性能が劣化することも特定した。

ABSTRACT

Given the prevalence of pre-trained contextualized representations in today's NLP, there have been many efforts to understand what information they contain, and why they seem to be universally successful. The most common approach to use these representations involves fine-tuning them for an end task. Yet, how fine-tuning changes the underlying embedding space is less studied. In this work, we study the English BERT family and use two probing techniques to analyze how fine-tuning changes the space. We hypothesize that fine-tuning affects classification performance by increasing the distances between examples associated with different labels. We confirm this hypothesis with carefully designed experiments on five different NLP tasks. Via these experiments, we also discover an exception to the prevailing wisdom that "fine-tuning always improves performance". Finally, by comparing the representations before and after fine-tuning, we discover that fine-tuning does not introduce arbitrary changes to representations; instead, it adjusts the representations to downstream tasks while largely preserving the original spatial structure of the data points.

研究の動機と目的

• 微調整が層ごとのBERT表現の幾何的構造にどのように影響を与えるかを理解すること。
• 微調整が性能を普遍的に向上させるのか、あるいは例外が存在するのかを調査すること。
• 微調整が下流タスクの実行を支援するように表現空間を再構成する仕組みを検討すること。
• 微調整がデータポイント間の元の空間的関係を維持するかどうかを評価すること。
• 特にクラスタ分離の観点から、表現幾何が微調整の成功に果たす役割を探索すること。

提案手法

• 著者らは2つのプローブ技術を用いる：多層パーセプトロンを用いた分類器ベースのプローブと、DirectProbeを用いた表現幾何の分析。
• 彼らは5つの自然言語処理タスク（品詞タグ付け、依存関係ヘッド予測、前置詞スーパークラス予測、テキスト分類）において、BERTの変種を微調整した。
• 各タスクについて、微調整前後における表現を、プローブ精度とラベルクラスタの幾何的分析を用いて比較した。
• ユークリッド距離とクラスタの凝集度を用いて、クラスタ間距離と空間的構成の変化を測定した。
• 関連タスクでの微調整実験を実施し、微調整がターゲットタスクの性能を幾何的調整によって向上させるかどうかを検証した。
• 特に上位層に注目し、微調整が層ごとにどのように変化するかを分析することで、変更が任意的か、構造的かを評価した。

実験結果

リサーチクエスチョン

• RQ1 微調整は常に下流タスクの性能を向上させるのか、それとも一般化性能が劣化するケースが存在するのか？
• RQ2 微調整は、特にクラス間距離とクラス内距離の観点から、表現空間の幾何的構造をどのように変化させるのか？
• RQ3 微調整は、層をまたいでデータポイントの元の空間的配置をどの程度維持するのか？
• RQ4 関連タスクでの微調整によって、クラスタ幾何を変更することで、ターゲットタスクの性能が向上するのか？
• RQ5 なぜ上位層が微調整でより大きく変化するのか？その変化は任意的なのか、それとも構造的なのか？

主な発見

• 微調整は、ラベルが初期に線形分離可能でない表現において、異なるラベルのクラスタ間距離を拡大し、分類器の性能を向上させる。
• ラベルがすでに線形分離可能である場合でも、微調整はクラスタをさらに離すことで、分離マージンを拡大し、一般化性能を向上させる。
• 著者らは、微調整によって性能が劣化する1つの例外を同定した。これは、微調整後のトレーニング集合とテスト集合の表現の乖離が最大であった場合に一致した。
• 微調整は任意の変更をもたらさず、代わりにすべての層でラベルクラスタの相対的位置関係をほとんど維持したまま、表現空間を再構成する。
• 上位層は下位層よりもより大きく変化するが、その変化は構造的であり、データの元の空間的組織を破壊しない。
• クロスタスク微調整の結果、関連タスクでの微調整が、クラスタ間距離を調整することでターゲットタスクの性能を向上させることを示し、幾何的再構成が性能向上の背後要因であるという仮説を支持した。