[논문 리뷰] Translation Transformers Rediscover Inherent Data Domains

Maksym Del, Elizaveta Korotkova외 1명|arXiv (Cornell University)|2021. 09. 16.

Natural Language Processing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 NMT Transformer 모델이 명시적인 도메인 레이블 없이도 은닉 표현 내에서 도메인 특화 정보를 내재적으로 학습하고 유지함을 보여준다. 특히 문서 수준에서 이러한 내부 표현을 사용해 비지도 군집화를 수행함으로써, XLM-R와 같은 외부 사전 훈련된 언어 모델을 사용하는 것보다 우수한 도메인 군집화 및 도메인 적응 성능을 달성한다. 원래 레이블에 대한 미세조정을 수행할 때 성능을 뛰어나거나 동등하게 유지한다.

ABSTRACT

Many works proposed methods to improve the performance of Neural Machine Translation (NMT) models in a domain/multi-domain adaptation scenario. However, an understanding of how NMT baselines represent text domain information internally is still lacking. Here we analyze the sentence representations learned by NMT Transformers and show that these explicitly include the information on text domains, even after only seeing the input sentences without domains labels. Furthermore, we show that this internal information is enough to cluster sentences by their underlying domains without supervision. We show that NMT models produce clusters better aligned to the actual domains compared to pre-trained language models (LMs). Notably, when computed on document-level, NMT cluster-to-domain correspondence nears 100%. We use these findings together with an approach to NMT domain adaptation using automatically extracted domains. Whereas previous work relied on external LMs for text clustering, we propose re-using the NMT model as a source of unsupervised clusters. We perform an extensive experimental study comparing two approaches across two data scenarios, three language pairs, and both sentence-level and document-level clustering, showing equal or significantly superior performance compared to LMs.

연구 동기 및 목표

• NMT Transformer가 명시적 감독 없이도 은닉 표현 내에 텍스트 도메인 정보를 암묵적으로 인코딩하는지 조사하기.
• 사전 훈련된 언어 모델의 표현에서 유도된 비지도 도메인 군집의 품질을 NMT 모델 표현에서 유도된 것과 비교 평가하기.
• 외부 언어 모델에 의존하는 것 대신 NMT 모델 자체가 학습한 군집을 재사용함으로써 NMT 도메인 적응을 향상시키기.
• 다양한 언어 쌍과 데이터 시나리오(예: 레이블이 부여된 혼합 코퍼스 및 레이블이 없는 이질적 코퍼스인 ParaCrawl 포함)에서 NMT 기반 군집화의 효과성을 테스트하기.

제안 방법

• 모든 레이어의 사전 훈련된 NMT Transformer 인코더에서 문장 및 문서 수준의 표현을 평균 풀링된 컨텍스트 임베딩을 사용해 추출하기.
• 주성분 분석(PCA)과 k-means 군집화를 적용하여 이러한 표현들로부터 비지도 도메인 군집을 식별하기.
• 자동으로 발견된 군집을 사용해 NMT 모델을 도메인 적응 프레임워크에서 미세조정함으로써, XLM-R와 같은 외부 모델에 의존하는 군집화를 대체하기.
• 두 가지 데이터 설정(레이블이 부여된 혼합 코퍼스 및 레이블이 없는 ParaCrawl 데이터)에서 NMT에서 유도된 군집과 XLM-R에서 유도된 군집, 원본 코퍼스 레이블을 사용한 성능을 비교하기.
• 다양한 언어 쌍(예: EN-DE, EN-ET, EN-CS)에서 BLEU 점수를 사용해 모델 성능을 평가하고, 다양한 모델 크기와 군집 수에 따른 결과를 분석하기.
• 더 작은 NMT 모델을 사용한 추상화 실험을 통해 제안된 군집화 방법의 강건성과 확장성 평가하기.

실험 결과

연구 질문

• RQ1 NMT Transformer는 명시적 도메인 감독 없이도 은닉 표현 내에 도메인 특화 정보를 학습하고 유지할 수 있는가?
• RQ2 NMT 표현에서 유도된 비지도 도메인 군집의 품질은 XLM-R와 같은 사전 훈련된 언어 모델에서 유도된 것과 비교해 어떻게 되는가?
• RQ3 NMT에서 유도된 군집은 도메인 적응에 효과적으로 사용될 수 있는가? 원래 도메인 레이블을 사용한 경우와 비교해 성능이 유사하거나 뛰어나게 되는가?
• RQ4 NMT 기반 군집화의 성능은 모델 크기, 언어 쌍, 또는 데이터 이질성(예: ParaCrawl)에 따라 달라지는가?

주요 결과

• NMT 모델은 문장 및 문서 수준의 표현을 생성하며, 실제 텍스트 도메인과 매우 밀접하게 군집화되어, 감독 없이도 문서 수준에서 거의 완벽한 대응(약 100%)을 달성한다.
• NMT 기반 군집은 특히 문서 수준 군집화에서 XLM-R 기반 군집보다 군집 순도와 번역 품질 측면에서 뛰어나다.
• 원본 코퍼스 레이블에 대한 미세조정을 수행할 때와 비교해, 자동으로 추출된 NMT 군집을 사용한 NMT 모델의 미세조정 성능이 유사하거나 이를 초월한다. 특히 EN-ET 및 EN-CS 번역에서 두드러진다.
• 5배 작게 만든 모델이라도 NMT 기반 군집화는 XLM-R 수준의 성능을 달성하며, 이는 강건성과 확장성의 증거이다.
• DE-EN ParaCrawl 설정에서는 모델 용량이 언어 쌍에 적합할 경우 NMT 기반 군집화가 XLM-R보다 뚜렷한 향상을 보인다.
• 외부 사전 훈련된 모델에 대한 의존도를 줄여 도메인 적응 파이프라인을 단순화하면서도 번역 품질을 유지하거나 향상시킨다.