[논문 리뷰] Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies

Zhengxuan Wu, Alex Tamkin외 1명|arXiv (Cornell University)|2022. 02. 24.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 영어 GLUE 작업을 특정 언어적 축을 따라 체계적으로 변형함으로써 교차 언어 전이 학습의 핵심 요인을 고립하고 연구하기 위한 제어된 실험 프레임워크인 Oolong을 소개한다. 주요 발견은 단어 임베딩 정렬이 전이의 주요 장벽임을 보여주며, 재초기화 또는 임베딩을 뒤섞는 것은 계속된 사전 훈련이 있더라도 성능을 심각하게 떨어뜨린다. 반면 문법적 변화는 미세조정를 통해 더 회복 가능하다.

ABSTRACT

When we transfer a pretrained language model to a new language, there are many axes of variation that change at once. To disentangle the impact of different factors like syntactic similarity and vocabulary similarity, we propose a set of controlled transfer studies: we systematically transform the language of the GLUE benchmark, altering one axis of crosslingual variation at a time, and then measure the resulting drops in a pretrained model's downstream performance. We find that models can largely recover from syntactic-style shifts, but cannot recover from vocabulary misalignment and embedding matrix re-initialization, even with continued pretraining on 15 million tokens. %On the other hand, transferring to a dataset with an unaligned vocabulary is extremely hard to recover from in the low-data regime. Moreover, good-quality tokenizers in the transfer language do not make vocabulary alignment easier. Our experiments provide insights into the factors of cross-lingual transfer that researchers should most focus on when designing language transfer scenarios.

연구 동기 및 목표

• 교차 언어 전이 학습에 영향을 주는 언어적 요인—문법적 구조, 어휘 정렬, 토크나이저 품질—의 개별적 영향을 고립하고 측정하기 위해.
• 실세계 전이 시나리오에서 다중 동시 언어적 변화가 혼합되는 문제를 해결하기 위해 GLUE 벤치마크를 제어된 방식으로 변형함으로써.
• 사전 훈련된 영어 모델을 새로운 언어에 적응시킬 때 성능을 가장 심각하게 저해하는 요인이 무엇인지 규명하기 위해.
• 제한된 대상 언어 데이터에서의 계속된 사전 훈련이 언어적 불일치의 악영향을 완화할 수 있는지 평가하기 위해.

제안 방법

• 단일 언어적 축을 동시에 변경하지 않고, 어순, 단어 정체성 정렬(임베딩 행렬 재초기화 또는 뒤섞기), 토크나이저 품질을 변경함으로써 GLUE 벤치마크 작업을 합성된 목표 언어로 체계적으로 변형한다.
• 사전 훈련된 영어 모델을 변형된 t-GLUE 데이터셋에 대해 미세조정하여 원본 영어 GLUE 대비 성능 저하를 측정하는 제어된 파라다임을 사용한다.
• 성능 회복 가능성을 평가하기 위해 1,500만 개의 t-영어 위키백과 데이터에서 계속된 마스크된 언어 모델링 사전 훈련을 추가로 수행한다.
• 모델의 일반화를 확보하기 위해 RoBERTa, DeBERTa, XLM-R 세 가지 모델을 모두의 변형에 대해 평가한다.
• 저자원 환경에서의 열악한 품질의 토크나이저를 시뮬레이션하기 위해 언어별 토크나이저(예: 프랑스어 및 네덜란드어 토크나이저를 영어 텍스트에 적용)를 사용한다.
• 다운스트림 GLUE 작업에서의 성능을 측정하고, 정확도를 확보하기 위해 세 개의 랜덤 시드에 대한 95% 신뢰구간을 보고한다.

실험 결과

연구 질문

• RQ1 어휘와 임베딩을 유지한 채로 어순 변화가 전이 학습 성능에 어떤 영향을 미치는가?
• RQ2 임베딩 행렬을 재초기화하거나 뒤섞을 경우 다운스트림 전이 성능에 어느 정도 악영향을 미치는가?
• RQ3 대상 언어에서 사용된 토크나이저의 품질이 임베딩 품질과 별개로 전이 성능에 의미 있는 영향을 미치는가?
• RQ4 1,500만 개의 대상 언어 데이터에서 계속된 사전 훈련이 임베딩 불일치로 인한 성능 저하를 복구할 수 있는가?
• RQ5 이러한 요인의 영향은 단일 언어 모델과 다국어 모델을 포함한 다양한 모델 아키텍처 간에 어떻게 비교되는가?

주요 결과

• 모델은 문법적 어순 변화에 대해 미세조정을 통해 대부분 회복할 수 있으며, 극단적인 무작위 어순 조건에서도 성능 저하가 상대적으로 미약하다.
• 임베딩 행렬을 재초기화하면 저자원 환경에서 성능 저하가 심각하고 복구되지 않으며, 1,500만 개의 계속된 사전 훈련 데이터에도 불구하고 의미 있는 회복이 이루어지지 않는다.
• 임베딩 행렬을 뒤섞는 것은 재초기화하는 것보다 훨씬 덜 해로운 편이지만, 여전히 원래 설정 대비 심각한 성능 저하를 초래한다.
• 임베딩 불일치가 존재할 경우 토크나이저 품질은 성능에 거의 영향을 주지 않아, 토크나이저 품질은 보조적인 문제임을 시사한다.
• 고품질 토크나이저를 사용하더라도 임베딩 재초기화가 성능 저하의 주요 원인이 되므로, 임베딩 정렬이 주요 병목 현상임을 시사한다.
• 이러한 발견은 영어 외의 언어로도 일반화되며, 비영어 XNLI 데이터셋에서의 미세조정 결과에서도 유사한 성능 패턴을 관찰함으로써 언어 특성에 관계없이 결과의 타당성을 확인한다.