[논문 리뷰] Visualizing and Understanding the Effectiveness of BERT

Yaru Hao, Li Dong외 2명|arXiv (Cornell University)|2019. 08. 15.

Topic Modeling참고 문헌 31인용 수 22

한 줄 요약

이 논문은 BERT 미세조정의 손실 곡선과 최적화 경로를 시각화하여 사전 훈련이 성능과 일반화 능력을 향상시키는 이유를 설명한다. 사전 훈련은 더 우수한 초기 점을 제공함으로써 넓고 평탄한 최적화 해를 이끌어내며 수렴 속도를 높이며, 하위 BERT 레이어는 임의의 작업 간에 더 불변성과 이식 가능성을 보인다.

ABSTRACT

Language model pre-training, such as BERT, has achieved remarkable results in many NLP tasks. However, it is unclear why the pre-training-then-fine-tuning paradigm can improve performance and generalization capability across different tasks. In this paper, we propose to visualize loss landscapes and optimization trajectories of fine-tuning BERT on specific datasets. First, we find that pre-training reaches a good initial point across downstream tasks, which leads to wider optima and easier optimization compared with training from scratch. We also demonstrate that the fine-tuning procedure is robust to overfitting, even though BERT is highly over-parameterized for downstream tasks. Second, the visualization results indicate that fine-tuning BERT tends to generalize better because of the flat and wide optima, and the consistency between the training loss surface and the generalization error surface. Third, the lower layers of BERT are more invariant during fine-tuning, which suggests that the layers that are close to input learn more transferable representations of language.

연구 동기 및 목표

• 사전 훈련-다음 미세조정 파라다임이 NLP 작업 전반에서 BERT 성능을 향상시키는 이유를 이해한다.
• 랜덤 초기화에서 시작하는 것과 비교해, 미세조정된 BERT의 최적화 역학과 일반화 행동을 조사한다.
• 각 BERT 레이어가 전이 학습과 일반화에 미치는 역할을 검토한다.
• 손실 곡선의 기하적 성질을 탐구하여 BERT 미세조정의 강건성과 효율성을 설명한다.

제안 방법

• 사전 훈련된 BERT 파라미터와 미세조정된 파라미터 사이를 선형 보간하여 일차원(1D) 손실 곡선을 구성한다.
• 최적화 경로에서 유도된 두 주요 방향에 따라 고차원 파라미터 공간을 투영하여 이차원(2D) 손실 표면을 생성한다.
• SGD 업데이트의 실제 경로를 2D 손실 표면에 투영하여 최적화 경로를 시각화한다.
• 동일한 시각화 기법을 사용하여 사전 훈련된 가중치에서의 미세조정과 랜덤 초기화에서의 훈련을 비교한다.
• 레이어별 제거 실험을 수행하여 미세조정 중 특정 레이어를 선택적으로 동결하거나 '롤백'함으로써 일반화에 기여하는 정도를 평가한다.
• 훈련 손실 표면과 일반화 오차 표면 간의 상관관계를 사용하여 모델의 강건성과 최소값의 평탄함을 평가한다.

실험 결과

연구 질문

• RQ1 사전 훈련이 BERT 미세조정에서 더 나은 초기화 점을 제공하여 수렴 속도를 높이고 최적화를 용이하게 하는가?
• RQ2 손실 곡선의 기하학적 특성—특히 평탄함과 넓이—가 미세조정된 BERT의 일반화 성능과 어떻게 관련되는가?
• RQ3 BERT의 하위 레이어가 상위 레이어보다 다양한 하류 작업 간에 더 불변성과 이식 가능성을 보이는 정도는 어느 정도인가?
• RQ4 훈련 손실 표면과 일반화 오차 표면 간의 일관성이 BERT의 과적합에 대한 강건성과 어떻게 관련되는가?
• RQ5 개별 레이어의 미세조정이 모델의 일반화에 미치는 영향은 무엇이며, 어떤 레이어가 이식 가능성에 가장 기여하는가?

주요 결과

• 사전 훈련은 무작위 초기화보다 2D 손실 곡선 상에서 더 넓고 평탄한 최적화 해를 이끌어내는 더 나은 초기화 점을 제공한다.
• 사전 훈련된 손실 곡선의 유리한 기하학적 특성 덕분에, 조절 가능한 모델 용량을 가진 상태에서도 BERT의 미세조정은 더 빠르게 수렴하고 과적합에 더 강건하다.
• 훈련 손실 표면과 일반화 오차 표면 간의 강한 상관관계는, 미세조정 과정에서 발견된 평탄한 최소값이 미리 보지 않은 데이터로도 잘 일반화된다는 것을 시사한다.
• BERT의 하위 레이어(0번째–7번째)는 다양한 하류 작업 간에 더 불변성을 보이며, 언어에 대한 더 이식 가능하고 작업에 종속되지 않는 표현을 학습하는 것으로 나타났다.
• MNLI 데이터셋에서 하위 레이어를 미세조정 중에 롤백하면 일반화 성능이 향상되지만, 상위 레이어를 롤백하면 성능이 악화되어, 하위 레이어가 작업 특정 특징을 학습하는 데 기여한다는 것을 확인한다.
• 미세조정 과정 중 최적화 경로는 일관되게 더 평탄하고 넓은 최소값 쪽으로 이동하며, 이는 사전 훈련이 유리한 손실 기하학을 통해 더 나은 일반화를 가능하게 한다는 가설을 뒷받침한다.