[論文レビュー] IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization

Wenxuan Zhou, Bill Yuchen Lin+1 more|arXiv (Cornell University)|May 2, 2020

Topic Modeling被引用数 4

ひとこと要約

本稿では、主成分の優位性を動的にペナルティ化することで、より等方的な [CLS] 嵪合を生成する、新しい正則化手法である等方的バッチ正則化（IsoBN）を提案する。相関を無視するのではなくブロック対角構造としてモデル化することで、7つの GLUE タスクにおいて、標準的なバッチ正則化を上回り、F1/Spearman スコアで約1.0ポイントの絶対的向上を達成する。

ABSTRACT

Fine-tuning pre-trained language models (PTLMs), such as BERT and its better variant RoBERTa, has been a common practice for advancing performance in natural language understanding (NLU) tasks. Recent advance in representation learning shows that isotropic (i.e., unit-variance and uncorrelated) embeddings can significantly improve performance on downstream tasks with faster convergence and better generalization. The isotropy of the pre-trained embeddings in PTLMs, however, is relatively under-explored. In this paper, we analyze the isotropy of the pre-trained [CLS] embeddings of PTLMs with straightforward visualization, and point out two major issues: high variance in their standard deviation, and high correlation between different dimensions. We also propose a new network regularization method, isotropic batch normalization (IsoBN) to address the issues, towards learning more isotropic representations in fine-tuning by dynamically penalizing dominating principal components. This simple yet effective fine-tuning method yields about 1.0 absolute increment on the average of seven NLU tasks.

研究の動機と目的

• BERT や RoBERTa における事前学習済み [CLS] 嵪合の等方性、特に分散と次元間相関構造を調査すること。
• 標準偏差の高い分散と次元間の強い相関が、微調整性能を制限していることを同定すること。
• 高い計算コストを伴わず、微調整中に等方性を向上させる実用的な正則化手法を開発すること。
• 上位の主成分の優位性を低減させることで、下流の NLU タスクにおける収束速度の向上と一般化性能の向上が達成されることを示すこと。

提案手法

• 標準偏差とペアワイズ相関係数の両方を用いて [CLS] 嵪合を正則化する、等方的バッチ正則化（IsoBN）を提案する。
• 相関係数行列を、標準バッチ正則化が対角行列と仮定するのではなく、高相関次元のグループを仮定するブロック対角構造としてモデル化する。
• 高い分散および強い相関を持つ次元の寄与を抑制するために、動的スケーリングを適用する。
• BERT や RoBERTa の微調整パイプラインに IsoBN を統合し、標準バッチ正則化層を置き換える。
• 等方性の向上を定量的に測定するため、説明される分散（EV_k）を用い、正則化前、バッチ正則化、IsoBN の比較を行う。
• 半精度学習を用い、GLUE ベンチマークタスクで評価することで、相互運用性と効率性を保証する。

実験結果

リサーチクエスチョン

• RQ1 BERT や RoBERTa の事前学習済み [CLS] 嵪合は、次元ごとの分散と相関の観点から、どれほど等方的であるか？
• RQ2 [CLS] 嵪合における上位の主成分の優位性が、微調整性能にどれほど制限を及えるか？
• RQ3 次元間相関を考慮した改良型バッチ正則化手法が、等方性と下流タスク性能の向上に寄与するか？
• RQ4 IsoBN は、上位主成分の説明される分散を減少させる点で、標準バッチ正則化を上回るか？

主な発見

• BERT や RoBERTa の事前学習済み [CLS] 嵪合は、標準偏差の高い分散と次元間の強い相関を示しており、等方性が低いことが判明した。
• 上位3つの主成分が平均で約86%の分散を説明しており、一部のデータセット（例：STS-B）では90%を超える場合もあった。
• 標準バッチ正則化は、相関を無視するため、説明される分散（EV₃）を BERT で0.025、RoBERTa で0.148 のみ減少させたにとどまった。
• IsoBN では、EV₃ が BERT で0.123、RoBERTa で0.425 にまで低下し、標準バッチ正則化に比べて顕著に等方性が向上した。
• IsoBN は7つの GLUE ベンチマークタスクで平均して1.0ポイントの絶対的 F1/Spearman スコア向上を達成した。
• 本手法は安定的かつ効率的であり、半精度学習とも互換性があるため、実世界の微調整に実用的である。