[논문 리뷰] Bridging the domain gap in cross-lingual document classification

Guokun Lai, Barlas Oğuz외 2명|arXiv (Cornell University)|2019. 09. 16.

Topic Modeling참고 문헌 35인용 수 14

한 줄 요약

이 논문은 XLM 기반의 강력한 베이스라인 대비 평균 44%의 오차 감소를 이끌어내고 새로운 SOTA 성능을 달성하기 위해, 다국어 전처리와 비지도 도메인 적응 기법을 결합함으로써 다국어 문서 분류에서 언어 갭과 도메인 갭을 동시에 해결하는 프레임워크를 제안한다. 구체적으로는 마스킹 언어 모델링(MLM), 비지도 데이터 증강(UDA), 그리고 자기학습(self-training)을 활용한다.

ABSTRACT

The scarcity of labeled training data often prohibits the internationalization of NLP models to multiple languages. Recent developments in cross-lingual understanding (XLU) has made progress in this area, trying to bridge the language barrier using language universal representations. However, even if the language problem was resolved, models trained in one language would not transfer to another language perfectly due to the natural domain drift across languages and cultures. We consider the setting of semi-supervised cross-lingual understanding, where labeled data is available in a source language (English), but only unlabeled data is available in the target language. We combine state-of-the-art cross-lingual methods with recently proposed methods for weakly supervised learning such as unsupervised pre-training and unsupervised data augmentation to simultaneously close both the language gap and the domain gap in XLU. We show that addressing the domain gap is crucial. We improve over strong baselines and achieve a new state-of-the-art for cross-lingual document classification.

연구 동기 및 목표

• 다국어 전이 학습에서 간과된 도메인 갭이 언어 장벽을 극복한 후에도 모델 성능을 제한한다는 점을 해결하기 위해.
• 비라벨된 대상 언어 데이터를 활용해 도메인 불일치를 줄임으로써 다국어 문서 분류 성능을 향상시키기 위해.
• 영어로 번역된 데이터를 기반으로 한 자기학습(self-training) 전략을 도입하여 예측을 개선하고, 원본 도메인 데이터 의존도를 낮추며 분포 이탈을 완화하기 위해.
• 다국어 전이와 비지도 도메인 적응 기법을 통합한 통합 프레임워크를 개발하여 반지도 학습 기반의 XLU 성능을 향상시키기 위해.
• 언어 갭과 도메인 갭을 동시에 완화함으로써 다국어 문서 분류 분야에서 새로운 SOTA 성능을 달성하기 위해.

제안 방법

• 비라벨된 대상 언어 데이터를 활용한 마스킹 언어 모델링(MLM) 전처리를 통해 XLM 기반의 다국어 표현과 비지도 도메인 적응을 결합한다.
• 백트랜스레이션(target → 영어 → target)을 통해 합성 병렬문장을 생성함으로써 비지도 데이터 증강(UDA)을 적용하여 모델의 강건성과 일관성을 향상시킨다.
• 대상 언어 데이터에 대한 예측을 개선하기 위해 자기학습 전략을 도입하여 원본 도메인 데이터 의존도를 낮추고 분포 이탈을 완화한다.
• UDA, MLM 전처리, 그리고 자기학습을 통합한 공동 학습 절차를 통해 모델을 대상 도메인에 적응시키면서 다국어 일치성을 유지한다.
• t2t(대상 → 대상), t2s(대상 → 원본), s2t(원본 → 대상) 등의 다양한 증강 전략을 평가하고, 최적의 구성 요건을 규명하기 위해 추론 분석을 실시한다.
• UDA 동안 레이블 일관성 손실을 사용하고, 라벨된 원본 데이터에 대해 교차 엔트로피 손실을 적용하여 모델을 엔드 투 엔드로 미세조정한다.

실험 결과

연구 질문

• RQ1 강력한 다국어 표현을 갖추고 있음에도 불구하고, 언어 간 도메인 이탈이 다국어 문서 분류 성능을 심각하게 떨어뜨리는가?
• RQ2 UDA 및 MLM 전처리와 같은 비지도 도메인 적응 기법이 자원이 적은 대상 언어에서 도메인 갭을 효과적으로 줄일 수 있는가?
• RQ3 다양한 데이터 증강 전략(t2t, s2t, t2s 등)이 다국어 환경에서의 모델 일반화 및 성능에 어떤 영향을 미치는가?
• RQ4 대상 언어에서 라벨된 데이터가 부족할 경우 자기학습이 모델 성능을 얼마나 향상시키는가?
• RQ5 언어 일치와 도메인 적응을 동시에 최적화함으로써 다국어 모델과 단일 언어 모델 간의 성능 격차를 메울 수 있는가?

주요 결과

• 제안된 방법은 여러 다국어 문서 분류 벤치마크에서 강력한 XLM 기반 베이스라인 대비 평균 44%의 오차 감소를 이끌어냈다.
• 백트랜스레이션을 활용한 t2t(대상 → 대상) 증강 전략이 가장 높은 성능을 보였으며, 이는 도메인에 맞는 데이터 증강이 가장 효과적임을 시사한다.
• 다국어 설정에서 성능은 약 10,000개의 라벨된 샘플(카테고리당)에서 최고로 나타나며, 더 큰 원본 언어 학습 세트에서는 성능 저하가 발생함을 확인하여 도메인 이탈에 의한 부정적 전이가 발생함을 입증한다.
• 자기학습은 원본 도메인 데이터 의존도를 낮추고 대상 도메인 분포에 맞춘 예측을 정렬함으로써 성능 향상에 기여한다.
• UDA와 MLM 전처리를 통해 비라벨된 대상 언어 데이터를 활용함으로써 단일 언어 기반 베이스라인과 거의 균일한 성능을 달성한다.
• UDA, MLM 전처리, 그리고 자기학습의 조합이 여러 언어 쌍과 데이터셋에서 다국어 문서 분류 분야의 새로운 SOTA 성능을 달성한다.