[논문 리뷰] On the Complementarity of Data Selection and Fine Tuning for Domain Adaptation

Dan Iter, David Grangier|arXiv (Cornell University)|2021. 09. 15.

Topic Modeling참고 문헌 42인용 수 6

한 줄 요약

이 논문은 신경 언어 모델링 및 기계 번역을 위한 도메인 적응에서 데이터 선택과 피지테이닝의 상호보완성에 대해 연구한다. 특히 피지테이닝된 BERT를 활용한 분류기 기반 도메인 분류기들을 사용하여 목표 도메인과 유사하지만 지나치게 특정되지 않은 외부 도메인 사전학습 데이터를 선별함으로써, 일반화 성능을 크게 향상시키고 대조적 데이터 선택 방법보다 뛰어난 성능을 보임을 보여준다. 특히 피지테이닝과 조합될 경우 성능 향상이 두드러진다.

ABSTRACT

Domain adaptation of neural networks commonly relies on three training phases: pretraining, selected data training and then fine tuning. Data selection improves target domain generalization by training further on pretraining data identified by relying on a small sample of target domain data. This work examines the benefit of data selection for language modeling and machine translation. Our experiments assess the complementarity of selection with fine tuning and result in practical recommendations: (i) selected data must be similar to the fine-tuning domain but not so much as to erode the complementary effect of fine-tuning; (ii) there is a trade-off between selecting little data for fast but limited progress or much data for slow but long lasting progress; (iii) data selection can be applied early during pretraining, with performance gains comparable to long pretraining session; (iv) data selection from domain classifiers is often more effective than the popular contrastive data selection method.

연구 동기 및 목표

• 신경 모델을 위한 도메인 적응에서 데이터 선택과 피지테이닝의 상호보완성 분석
• 언어 모델링 및 기계 번역에서 다양한 데이터 선택 방법—특히 대조적 스코어링 대비 분류기 기반 도메인 분류기—의 효과 평가
• 선택 크기, 사전학습 대비 선택 시점, 피지테이닝 이전 훈련 기간 등 최적의 하이퍼파라미터 규명
• 실무자들이 성능 향상을 극대화하기 위해 언제이고 어떻게 데이터 선택을 적용할 것인지에 대한 실용적 권고 제공

제안 방법

• 저자는 일반적인 외부 도메인 데이터에서 사전학습, 이 데이터의 일부에서 데이터 선택, 목표 도메인 데이터에서 피지테이닝으로 구성된 세 단계 훈련 파이프라인을 사용한다.
• 데이터 선택은 대조적 스코어링(예: 문장 임베딩 기반) 또는 소규모 내부 도메인 샘플에서 학습된 분류기 기반으로 수행된다.
• 분류기 기반 방법은 목표 도메인에 속하는지 여부를 예측하는 데 사용되는 피지테이닝된 BERT 모델로, 스코어를 산출하여 데이터를 순위 매기고 선택한다.
• 연구는 언어 모델링 및 신경 기계 번역(En-De 및 En-Fr)에 대해 사전학습 단계와 선택 크기를 다양하게 설정하여 선택 방법을 평가한다.
• 일반화 성능은 피지테이닝 후 목표 도메인 데이터에서 검증 손실을 측정하여 평가하며, 선택 크기, 시점, 모델 유형에 대한 분석을 포함한 아블레이션 스터디를 수행한다.
• 선택 방법 비교를 위해 보류된 내부 도메인/외부 도메인 데이터에서의 이진 분류 정확도와 순위 매겨진 선택 목록에서 내부 도메인 예제의 평균 퀀틸 기반 평가를 수행한다.

실험 결과

연구 질문

• RQ1 선택된 데이터와 피지테이닝 데이터 간의 유사성이 데이터 선택과 피지테이닝의 상호보완성에 미치는 영향은 무엇인가?
• RQ2 일반화 성능과 훈련 속도를 고려할 때, 낮은 품질의 데이터를 다수 선택하는 것과 고품질의 소량 데이터 선택 간의 트레이드오���은 무엇인가?
• RQ3 선택 방법으로서 대조적 스코어링 대비 분류기 기반 도메인 분류기의 선택이 최종 성능에 미치는 영향은 무엇인가?
• RQ4 사전학습 초기 단계에서 데이터 선택을 적용함으로써 총 훈련 시간을 줄일 수 있는가?
• RQ5 피지테이닝만 수행하는 것과 비교해 데이터 선택이 일반화 성능 향상에 얼마나 기여하는가? 그리고 언제 성능 저하를 초래할 수 있는가?

주요 결과

• 특히 피지테이닝된 BERT를 활용한 분류기 기반 방법은 언어 모델링 및 기계 번역 모두에서 대조적 데이터 선택 방법을 뛰어넘으며, MT 작업에서 이진 분류 정확도가 93.51%에 도달한다.
• 분류기 기반 데이터 선택은 대조적 선택보다 더 나은 일반화 성능을 보이며, 목표 훈련 세트에 과적합되는 경향이 있어 강한 훈련 세트 성능에도 불구하고 더 높은 검증 손실을 보인다.
• 대조적 스코어링을 사용해 사전학습 데이터에서 상위 100만 개의 예제만 선택하는 것은, 덜 정밀하지만 더 다양한 방법으로 더 많은 데이터를 선택하는 것보다 일반화 성능이 열 劣하다.
• 데이터 선택은 사전학습 초기 단계—단지 20만 스텝 후—에도 적용 가능하며, 훨씬 더 긴 기간 사전학습을 거친 모델과 유사한 성능을 달성할 수 있다.
• 데이터 선택과 피지테이닝의 조합은 피지테이닝만 수행하는 것보다 성능을 뛰어올릴 수 있지만, 선택된 데이터가 충분히 상호보완적이어야 한다. 그렇지 않으면 성능이 피지테이닝 전용 기준선 이하로 떨어질 수 있다.
• 피지테이닝 이전에 선택된 데이터의 성능에 대한 짧은 진단은 오해의 소지가 있다. 작은 서브셋은 빨리 수렴하지만 과적합되며, 더 큰 서브셋은 더 나은 일반화를 보이지만 더 많은 훈련 스텝이 필요하다.