[논문 리뷰] IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization

Wenxuan Zhou, Bill Yuchen Lin외 1명|arXiv (Cornell University)|2020. 05. 02.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 Isotropic Batch Normalization (IsoBN)을 제안하며, 이는 BERT와 RoBERTa의 미세조정 성능을 향상시키기 위해 주요 주성분을 동적으로 처벌하여 더 등방성인 [CLS] 임베딩을 생성하는 새로운 정규화 방법이다. 상관관계를 무시하는 대신 블록 대각 행렬 구조로 모델링함으로써, IsoBN은 일곱 개의 GLUE 작업에서 약 1.0 점의 절대 F1/Spearman 점수 향상을 이끌어내며 표준 배치 정규화를 능가한다.

ABSTRACT

Fine-tuning pre-trained language models (PTLMs), such as BERT and its better variant RoBERTa, has been a common practice for advancing performance in natural language understanding (NLU) tasks. Recent advance in representation learning shows that isotropic (i.e., unit-variance and uncorrelated) embeddings can significantly improve performance on downstream tasks with faster convergence and better generalization. The isotropy of the pre-trained embeddings in PTLMs, however, is relatively under-explored. In this paper, we analyze the isotropy of the pre-trained [CLS] embeddings of PTLMs with straightforward visualization, and point out two major issues: high variance in their standard deviation, and high correlation between different dimensions. We also propose a new network regularization method, isotropic batch normalization (IsoBN) to address the issues, towards learning more isotropic representations in fine-tuning by dynamically penalizing dominating principal components. This simple yet effective fine-tuning method yields about 1.0 absolute increment on the average of seven NLU tasks.

연구 동기 및 목표

• [BERT와 RoBERTa의 사전 훈련된 [CLS] 임베딩의 등방성, 특히 차원 간 분산과 상관관계 구조를 조사하기 위해.
• 표준 편차의 높은 분산과 차원 간 강한 상관관계가 미세조정 성능을 저해한다는 것을 규명하기 위해.
• 높은 계산 비용 없이도 미세조정 중 등방성 향상을 위한 실용적인 정규화 방법을 개발하기 위해.
• 상위 주성분의 지배성을 줄임으로써 하류 NLU 작업에서 빠른 수렴과 더 나은 일반화가 가능하다는 것을 입증하기 위해.

제안 방법

• 표준 편차와 쌍별 상관계수를 모두 사용하여 [CLS] 임베딩을 정규화하는 등방성 배치 정규화(IsoBN)를 제안한다.
• 표준 배치 정규화에서처럼 대각형으로 간주하는 대신, 높은 상관관계를 가지는 차원의 그룹을 가정하여 절대 상관계수 행렬을 블록 대각형으로 모델링한다.
• 높은 분산과 강한 상관관계를 가지는 차원의 기여를 억제하기 위해 동적 스케일링을 적용하여 주요 주성분의 기여를 억제한다.
• BERT와 RoBERTa의 미세조정 파이프라인에 IsoBN을 통합하여 표준 배치 정규화 레이어를 대체한다.
• 등방성 향상 정도를 정량적으로 측정하기 위해 설명된 분산(EV_k)을 사용하여 사전 정규화, 배치 정규화, 그리고 IsoBN 간 비교를 수행한다.
• 반정밀도로 모델을 훈련하고 GLUE 벤치마크 작업에서 평가하여 호환성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 BERT와 RoBERTa의 사전 훈련된 [CLS] 임베딩은 차원 간 분산과 상관관계 측면에서 얼마나 등방성인가?
• RQ2 [CLS] 임베딩의 주요 주성분이 미세조정 성능을 얼마나 제한하는가?
• RQ3 차원 간 상관관계를 고려한 수정된 배치 정규화 방법이 등방성과 하류 성능 향상에 기여할 수 있는가?
• RQ4 IsoBN이 상위 주성분의 설명된 분산을 줄이는 데 표준 배치 정규화를 능가하는가?

주요 결과

• BERT와 RoBERTa의 사전 훈련된 [CLS] 임베딩은 표준 편차의 높은 분산과 차원 간 강한 상관관계를 보이며, 이는 등방성이 떨어짐을 시사한다.
• 상위 3개 주성분이 평균적으로 약 86%의 분산을 설명하며, 일부 데이터셋(예: STS-B)에서는 90%를 초과한다.
• 표준 배치 정규화는 상관관계를 忽시하기 때문에 EV₃를 단지 0.025(BERT)와 0.148(RoBERTa)만 감소시킨다.
• IsoBN은 EV₃를 BERT의 경우 0.123, RoBERTa의 경우 0.425로 감소시켜 표준 배치 정규화보다 등방성 향상이 뚜렷하다.
• IsoBN은 일곱 개의 GLUE 벤치마크 작업에서 평균적으로 1.0 점의 절대 F1/Spearman 점수 향상을 이룬다.
• 이 방법은 안정적이고 효율적이며 반정밀도 훈련과도 호환되어 실세계의 미세조정에 실용적이다.