[논문 리뷰] Unsupervised Cross-lingual Adaptation for Sequence Tagging and Beyond

Xin Li, Lidong Bing외 3명|arXiv (Cornell University)|2020. 10. 23.

Topic Modeling참고 문헌 70인용 수 25

한 줄 요약

이 논문은 다국어 번역 데이터를 통해 언어별 웜업 단계를 거친 후 소스 언어 데이터로 미세조정하는 '웜업-그 이후 적응' 프레임워크인 Multilingual Warm-Start (Mtl-Ws)를 제안한다. 이는 다국어 기반 기계 번역 데이터로부터 작업에 특화된 지식을 추출한 후, 소스 언어 데이터로 모델을 미세조정함으로써 비지도 교차 언어 적응을 향상시킨다. 이 방법은 NER, SRL, ABSA 작업에서 9개의 목표 언어에 대해 제로샷 및 표준 번역 기반 접근 방식을 모두 능가하며, 작업에 특화된 설계 없이도 일관된 성능 향상을 보여준다.

ABSTRACT

Cross-lingual adaptation with multilingual pre-trained language models (mPTLMs) mainly consists of two lines of works: zero-shot approach and translation-based approach, which have been studied extensively on the sequence-level tasks. We further verify the efficacy of these cross-lingual adaptation approaches by evaluating their performances on more fine-grained sequence tagging tasks. After re-examining their strengths and drawbacks, we propose a novel framework to consolidate the zero-shot approach and the translation-based approach for better adaptation performance. Instead of simply augmenting the source data with the machine-translated data, we tailor-make a warm-up mechanism to quickly update the mPTLMs with the gradients estimated on a few translated data. Then, the adaptation approach is applied to the refined parameters and the cross-lingual transfer is performed in a warm-start way. The experimental results on nine target languages demonstrate that our method is beneficial to the cross-lingual adaptation of various sequence tagging tasks.

연구 동기 및 목표

• NER, SRL, ABSA와 같은 세분화된 시퀀스 태깅 작업에 대해 제로샷 및 번역 기반 교차 언어 적응 접근 방식의 효과성을 재평가하는 것.
• 특히 어순 변화와 정렬 갭으로 인한 스판 수준 레이블 프로젝션의 부재로 인해 기존 번역 기반 방법의 한계를 해결하는 것.
• 쌍방향 단일 언어 코퍼스가 필요 없이 기계 번역을 통해 생성된 다국어 허위 레이블이 부여된 훈련 데이터를 효과적으로 활용할 수 있는 전략을 개발하는 것.
• 미세조정 이전에 번역된 데이터로부터 작업에 특화된 지식을 정제하는 웜업 메커니즘을 제안하여 모델 일반화 및 수렴 성능를 향상시키는 것.
• 제로샷 및 번역 기반 적응의 장점을 조합한 하이브리드 접근 방식이 다양한 언어와 작업에서 뛰어나고 일관된 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 단어 수준 정렬을 스판 수준 정렬으로 집계하는 스팸-투-스팸 매핑 전략을 제안하여, 어순 불일치 및 정렬 누락으로 인한 오류를 줄이고 허위 레이블 전파의 강건성을 향상시킨다.
• 각 목표 언어별로 소량의 허위 레이블이 부여된 번역된 데이터를 사용해 작업에 특화된 지식을 정제하는 다국어 웜업 메커니즘을 도입한다.
• '웜업-그 이후 적응' 프레임워크를 적용: 번역된 데이터에서 웜업을 거친 후, 소스 언어의 레이블이 부여된 데이터로 모델을 미세조정함으로써 제로샷 성질을 유지하면서 성능을 향상시킨다.
• mBERT와 XLM-R와 같은 다국어 사전 훈련된 언어 모델(mPTLMs)을 백본으로 사용하여 교차 언어 표현을 활용한다.
• 이중 단계 훈련 프로세스를 적용: 첫 번째 단계는 번역된 데이터에서 언어별 웜업을 통해 다국어 지식을 통합하는 것; 두 번째 단계는 소스 데이터에서 표준적인 미세조정을 통해 목표 작업에 적응하는 것.
• 허위 레이블을 개별 단어가 아닌 정렬된 스판을 통해 전파하는 히우리스틱 스판 정렬 메커니즘을 도입하여 레이블 프로젝션의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 NER, SRL, ABSA와 같은 세분화된 시퀀스 태깅 작업에서 번역 기반 접근 방식이 제로샷 접근 방식을 능가하는가?
• RQ2 어순 변화와 정렬 갭의 과제를 완화하기 위해 강건한 레이블 프로젝션 메커니즘이 효과적인가?
• RQ3 소스 언어 데이터로의 미세조정 이전에 번역된 데이터에서 웜업 단계를 거치는 데 이점이 있는가? 그리고 이는 수렴 속도와 성능에 어떤 영향을 미치는가?
• RQ4 제로샷 및 번역 기반 적응의 장점을 조합한 하이브리드 접근 방식이 다양한 언어와 작업에서 더 나은 성능과 일관성을 달성할 수 있는가?
• RQ5 제안된 Mtl-Ws 프레임워크는 F1 점수와 훈련 효율성 측면에서 표준 적응 기반 모델과 비교해 어떻게 다른가?

주요 결과

• 스팸-투-스팸 매핑 전략은 레이블 프로젝션의 강건성을 크게 향상시켜, 스페인어 NER에서 단어-투-단어 매핑 대비 mBERT 기준 10.71점, XLM-R 기준 12.97점의 F1 점수 저하 감소를 기록했다.
• 고품질 기계 번역을 사용하더라도 번역 기반 접근 방식은 대부분의 시퀀스 태깅 작업에서 제로샷 적응보다 성능이 열 劣함을 보여, 현재 데이터 활용 방식의 한계를 시사한다.
• Mtl-Ws 프레임워크는 NER, SRL, ABSA와 같은 다양한 시퀀스 태깅 작업에서 9개의 목표 언어에 대해 일관된 성능 향상을 달성했다.
• 웜업 메커니즘이 수렴 속도를 가속화하여, mBERT와 XLM-R 모두 초기 에포크에서 더 빠른 훈련 진전을 보였으며, 계산 자원이 제한된 환경에서 특히 유용했다.
• 제안된 방법은 모든 평가된 작업과 언어에서 제로샷 및 표준 번역 기반 기반 모델을 모두 능가했으며, 번역된 데이터로부터의 지식 정제의 효과성을 입증했다.
• Mtl-Ws의 우수성은 mBERT와 XLM-R를 포함한 다양한 mPTLM에서 일관되게 나타나, 백본 아키텍처 선택에 관계없이 일반화 가능하고 강건함을 보여준다.