[논문 리뷰] A Closer Look at How Fine-tuning Changes BERT

Yichu Zhou, Vivek Srikumar|arXiv (Cornell University)|2021. 06. 27.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 프로빙 기법을 사용하여 피니튜닝이 BERT의 표현 공간을 어떻게 변화시키는지 조사한다. 결과적으로, 피니튜닝은 분류 성능을 향상시키기 위해 클래스 간 거리를 증가시키고 유사한 레이블을 군집화하지만, 원래 기하학적 구조는 대부분 유지된다. 또한 피니튜닝이 훈련-테스트 분포 간 분리도 증가로 인해 성능을 떨어뜨리는 흔한 경우를 특정한다.

ABSTRACT

Given the prevalence of pre-trained contextualized representations in today's NLP, there have been many efforts to understand what information they contain, and why they seem to be universally successful. The most common approach to use these representations involves fine-tuning them for an end task. Yet, how fine-tuning changes the underlying embedding space is less studied. In this work, we study the English BERT family and use two probing techniques to analyze how fine-tuning changes the space. We hypothesize that fine-tuning affects classification performance by increasing the distances between examples associated with different labels. We confirm this hypothesis with carefully designed experiments on five different NLP tasks. Via these experiments, we also discover an exception to the prevailing wisdom that "fine-tuning always improves performance". Finally, by comparing the representations before and after fine-tuning, we discover that fine-tuning does not introduce arbitrary changes to representations; instead, it adjusts the representations to downstream tasks while largely preserving the original spatial structure of the data points.

연구 동기 및 목표

• 피니튜닝이 레이어별로 BERT 표현의 기하학적 구조에 어떻게 영향을 미치는지 이해하는 것.
• 피니튜닝이 성능을 항상 향상시키는지, 또는 예외가 존재하는지 조사하는 것.
• 피니튜닝이 다운스트림 작업을 더 잘 지원할 수 있도록 표현 공간을 어떻게 재구성하는지 검토하는 것.
• 피니튜닝이 데이터 포인트 간 원래 공간 관계를 유지하는지 평가하는 것.
• 특히 군집 간 분리도를 통해 표현 기하학이 피니튜닝 성공에 어떤 역할을 하는지 탐구하는 것.

제안 방법

• 저자들은 두 가지 프로빙 기법을 사용한다: 다층 퍼셉트론 기반 프로빙과 DirectProbe를 활용해 표현 기하학을 분석한다.
• 다섯 개의 NLP 작업에서 BERT 변종을 피니튜닝한다: 품사 태깅, 의존성 헤드 예측, 전치사 초의미 예측, 텍스트 분류.
• 각 작업에서, 피니튜닝 이전과 이후의 표현을 프로브 정확도와 레이블 군집의 기하학적 분석을 통해 비교한다.
• 유클리드 거리와 군집 밀도 측도를 사용해 군집 간 거리와 공간 구성의 변화를 측정한다.
• 교차 작업 피니튜닝 실험을 수행하여, 관련 작업에서의 피니튜닝이 기하학적 조정을 통해 목표 작업 성능을 향상시키는지 테스트한다.
• 레이어별 변화를 분석하여, 특히 고차원 레이어에 집중함으로써 피니튜닝이 표현 공간을 임의로 변화시키는지, 또는 기하학적 구조를 유지하는지 평가한다.

실험 결과

연구 질문

• RQ1 피니튜닝은 항상 다운스트림 성능을 향상시키는가, 아니면 일반화 성능이 악화되는 경우가 존재하는가?
• RQ2 피니튜닝은 표현 공간의 기하학적 구조를 어떻게 변화시키는가, 특히 클래스 간 및 클래스 내 거리 측면에서 어떻게 변화하는가?
• RQ3 피니튜닝은 레이어 전반에 걸쳐 데이터 포인트의 원래 공간 구성 비율을 어느 정도 유지하는가?
• RQ4 관련 작업에서의 피니튜닝이 군집 기하학을 조정함으로써 목표 작업 성능 향상에 기여할 수 있는가?
• RQ5 왜 고차원 레이어가 더 많이 변화하는가, 그리고 이 변화는 임의적인가, 아니면 구조적인가?

주요 결과

• 피니튜닝은 레이블 군집 간 거리를 증가시키며, 특히 초기에 선형적으로 분리되지 않는 표현 영역에서 분류 성능 향상에 기여한다.
• 레이블이 이미 선형적으로 분리되어 있는 경우, 피니튜닝은 군집을 더 멀리 떨어뜨려 더 큰 분리 마진을 형성함으로써 일반화 성능을 향상시킨다.
• 저자들은 피니튜닝이 성능을 떨어뜨리는 한 가지 예외를 특정하였으며, 이는 피니튜닝 후 훈련 세트와 테스트 세트 표현 간 분리도가 가장 크게 증가한 경우와 관련이 있다.
• 피니튜닝은 임의의 변화를 유도하지 않으며, 오히려 모든 레이어에서 레이블 군집 간 상대적 위치를 대부분 유지하면서 표현 공간을 재구성한다.
• 고차원 레이어가 저차원 레이어보다 더 많이 변화하지만, 변화는 구조적이며 원래 데이터의 공간 조직을 손상시키지 않는다.
• 교차 작업 피니튜닝 결과는 관련 작업에서의 피니튜닝이 군집 간 거리 조정을 통해 목표 작업 성능 향상에 기여할 수 있음을 보여주며, 기하학적 재구성이 성능 향상의 핵심 요인임을 뒷받침한다.