[논문 리뷰] To Tune or Not to Tune? Adapting Pretrained Representations to Diverse Tasks

Matthew E. Peters, Sebastian Ruder외 1명|arXiv (Cornell University)|2019. 03. 14.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 ELMo와 BERT와 같은 사전 훈련된 언어 모델을 최종 NLP 작업에 적응시키는 데에 미세조정(fine-tuning)을 사용할지, 특징 추출(feature extraction)을 사용할지에 대해 조사한다. 사전 훈련된 작업과 목표 작업 간의 유사성이 높거나 낮을 경우, 미세조정이 특징 추출을 능가하는 것으로 나타났으며, 중간 정도의 유사성일 경우 특징 추출이 충분히 기능한다. 선택 기준은 모델 아키텍처가 아니라 작업 간 유사성에 따라 달라진다.

ABSTRACT

While most previous work has focused on different pretraining objectives and architectures for transfer learning, we ask how to best adapt the pretrained model to a given target task. We focus on the two most common forms of adaptation, feature extraction (where the pretrained weights are frozen), and directly fine-tuning the pretrained model. Our empirical results across diverse NLP tasks with two state-of-the-art models show that the relative performance of fine-tuning vs. feature extraction depends on the similarity of the pretraining and target tasks. We explore possible explanations for this finding and provide a set of adaptation guidelines for the NLP practitioner.

연구 동기 및 목표

• 다양한 NLP 작업에 걸쳐 사전 훈련된 언어 모델에 대한 최적의 적응 전략(특징 추출 또는 미세조정)을 결정하기 위해.
• 사전 훈련된 작업과 목표 작업 간의 유사성이 미세조정과 특징 추출 간 상대적 성능에 어떤 영향을 미치는지 조사하기 위해.
• 각 적응 방법을 언제 사용할지에 대한 실증 기반 지침을 실무자들에게 제공하기 위해.
• 다양한 BERT와 ELMo의 레이어에서 적응 과정 중 정보 내용을 진단 분류기와 상호정보량을 사용해 분석하기 위해.
• 더 높은 계산 비용에도 불구하고 일부 작업 시나리오에서 미세조정이 더 잘 작동하는 이유를 이해하기 위해.

제안 방법

• 사전 훈련된 모델로 ELMo와 BERT를 사용하여 특징 추출(고정된 가중치)과 미세조정(업데이트된 가중치)을 경험적으로 비교한다.
• 일곱 가지 다양한 NLP 작업에서 평가한다: 명명된 실체 인식(CoNLL-2003), 감성 분석(SST-2), 자연어 추론(MultiNLI, SICK-E), 동의어 탐지(MRPC), 의미적 텍스트 유사도(STS-B, SICK-R).
• 각 레이어의 은닉 표현에 대해 훈련된 진단 분류기를 사용하여 언어적 성질이 모델의 특징에 얼마나 잘 코딩되어 있는지 평가한다.
• 은닉 레이어 활성화와 작업 레이블 간의 상호정보량(MI)을 EDGE 추정기로 계산하여 적응 과정 중 정보 흐름을 정량화한다.
• 다양한 사전 훈련 도메인(예: 전화 통화, 소설, 정부 문서)에서의 성능을 분석하여 도메인 이동 영향을 평가한다.
• 미세조정 안정성과 성능 향상을 위해 분류 기반 미세조정과 삼각형 학습률 스케줄을 적용한다.

실험 결과

연구 질문

• RQ1 사전 훈련된 작업과 목표 작업 간의 조건이 무엇일 때, 미세조정이 특징 추출을 능가하는가?
• RQ2 사전 훈련된 작업과 목표 작업 간의 유사성이 미세조정과 특징 추출 간 상대적 성능에 어떤 영향을 미치는가?
• RQ3 모델 아키텍처의 어디(즉, 어떤 레이어)에서 적합한 정보가 미세조정 전후로 가장 집중되어 있는가?
• RQ4 미세조정 과정 중 은닉 표현과 레이블 간의 상호정보량은 어떻게 변화하며, 이는 지식 습득 과정을 어떻게 드러내는가?
• RQ5 특징 추출과 미세조정 간의 선택은 모델 아키텍처(예: ELMo 대비 BERT) 또는 작업 유형(예: 문장 시퀀스 레이블링 대비 문장 쌍 작업)에 따라 달라지는가?

주요 결과

• 사전 훈련된 작업과 목표 작업 간의 유사성이 매우 높을 경우(예: NLI 사전 훈련과 NLI 목표 작업), 또는 매우 낮을 경우(예: NLI 사전 훈련을 문장 시퀀스 레이블링 작업에 적용할 때), 미세조정이 특징 추출을 능가한다.
• 사전 훈련된 작업과 목표 작업 간의 유사성이 중간 정도일 경우, 예를 들어 감성 분석이나 명명된 실체 인식 작업에서는 특징 추출이 미세조정과 유사한 성능을 보인다.
• 미세조정된 표현에서 진단 분류기 성능은 모든 레이어에서 증가하며, 단일 문장 작업(예: CoLA, SST-2)의 경우 최종 레이어에서 특히 뚜렷한 향상이 나타나지만, 문장 쌍 작업(예: MRPC)의 경우 중간 및 최종 레이어를 통해 점진적인 향상이 관찰된다.
• 미세조정된 표현과 레이블 간의 상호정보량은 사전 훈련된 표현보다 유의미하게 높으며, 특히 깊은 레이어에서 두드러진다. 이는 미세조정이 작업 관련 신호 전파를 향상시킨다는 것을 시사한다.
• BERT의 경우, 다른 도메인(예: 정부 문서)에서 사전 훈련한 후 다른 도메인(예: 여행)에서 평가할 경우 성능 저하가 발생하지만, 여전히 특징 추출보다 미세조정이 뛰어난 성능을 보인다. 이는 도메인 이동 상황에서도 미세조정이 유리함을 의미한다.
• 문장 쌍 작업에서 미세조정과 특징 추출 간 성능 격차가 가장 뚜렷한데, 이는 사전 훈련된 표현에서 상위 레이어에 작업 관련 신호가 거의 없기 때문에, 이에 대한 보완으로서 미세조정이 반드시 필요하다는 것을 뒷받침한다.