[논문 리뷰] Zero-shot Reading Comprehension by Cross-lingual Transfer Learning with Multi-lingual Language Representation Model

Tsung-Yuan Hsu, Chi-liang Liu외 1명|arXiv (Cornell University)|2019. 09. 15.

Topic Modeling참고 문헌 23인용 수 25

한 줄 요약

이 논문은 기계 번역 없이 다국어 BERT(multi-BERT)를 사용하여 영어와 중국어와 같은 저자원 언어 쌍에서도 영상 없는 다국어 독해 이해가 가능함을 입증한다. 모델은 고자원 언어에서 저자원 언어로 지식을 효과적으로 전이하며, 코드 스위칭 및 문법적 다양성과 같은 조건에서도 성능 저하가 최소화된다.

ABSTRACT

Because it is not feasible to collect training data for every language, there is a growing interest in cross-lingual transfer learning. In this paper, we systematically explore zero-shot cross-lingual transfer learning on reading comprehension tasks with a language representation model pre-trained on multi-lingual corpus. The experimental results show that with pre-trained language representation zero-shot learning is feasible, and translating the source data into the target language is not necessary and even degrades the performance. We further explore what does the model learn in zero-shot setting.

연구 동기 및 목표

• 다국어 BERT가 목표 언어 데이터에 대한 미세조정 없이도 영상 없는 다국어 전이 학습을 가능하게 할 수 있는지 조사하는 것.
• 영어와 중국어처럼 어휘 유사도가 낮은 언어 간의 영상 없는 전이 효과를 평가하는 것.
• 다국어 BERT가 코드 스위칭과 문법적 다양성을 처리할 수 있는 언어 독립적 표현을 학습하는지 검토하는 것.
• 영상 없는 다국어 독해 이해를 위해 원천 데이터의 기계 번역이 필요하거나 유익한지 판단하는 것.
• 코드 스위칭 및 문법적 어순 변경과 같은 인위적 데이터 교란 상황에서 multi-BERT의 내구성 분석하기

제안 방법

• 한 언어(예: 영어)의 훈련 데이터셋에서 다국어 BERT를 미세조정하고, 다른 언어(예: 중국어, 한국어)의 테스트셋에 대해 추가 미세조정 없이 직접 평가하는 방식.
• 언어별 적응 없이 사전 훈련된 다국어 BERT(104개 언어)를 사용하며, 기본 초모수와 표준 BERT 미세조정 절차를 그대로 적용.
• Google 번역을 사용해 SQuAD, DRCD, KorQuAD를 추가 언어로 번역하여 인위적 다국어 데이터셋을 생성하고, 답변 스파이크 복구를 위해 퍼지 매칭 기법을 적용.
• 페이스북 AI의 MUSE에서 제공하는 双어사전을 활용해 영어 텍스트의 단어를 다른 언어의 번역어로 교체하여 코드 스위칭 데이터셋을 제작.
• 영어 문장의 어순을 SOV, VOS, VSO, OSV, OVS로 재정렬하여 문법적 내구성을 테스트하는 문체 조작 데이터셋을 구축.
• 다국어 토큰 표현의 의미 군집을 시각화하고 분석하기 위해, 다국어 BERT의 최종 레이어에서 주성분 분석(PCA)을 수행함.

실험 결과

연구 질문

• RQ1 다국어 BERT는 목표 언어 훈련 데이터 없이도 영상 없는 다국어 독해 이해 전이를 달성할 수 있는가?
• RQ2 원천 데이터를 목표 언어로 번역하는 것이 영상 없는 다국어 독해 이해 성능을 향상시키는가, 아니면 저하시키는가?
• RQ3 다국어 BERT는 어휘 유사도가 낮은 언어 쌍(예: 영어와 중국어)에 대해 얼마나 잘 일반화되는가?
• RQ4 다양한 언어의 단어가 한 문장에 혼합된 코드 스위칭 상황에서 multi-BERT의 내구성은 어떠한가?
• RQ5 훈련 데이터의 문법 어순을 변경(예: SVO → SOV)하는 것이 다국어 전이 성능에 영향을 미치는가?

주요 결과

• 다국어 BERT를 사용하면 영상 없는 다국어 독해 이해 전이가 가능하며, 영어 데이터로 훈련한 경우 중국어 테스트셋에서 81.2 EM 및 88.68 F1의 성능을 달성한다.
• 원천 데이터를 목표 언어로 번역하는 것은 필수적이지 않으며, 오히려 성능 저하를 초래한다. 영어 → 중국어 전이에서 번역을 사용할 경우 EM 점수가 81.2에서 59.7로 하락한다.
• 저복잡도 언어 쌍 간의 일반화 성능이 효과적으로 유지되며, 영어로 훈련한 경우 중국어 테스트셋에서 63.3 EM 및 78.8 F1, 한국어 테스트셋에서 49.2 EM 및 69.3 F1의 성능을 기록한다.
• 코드 스위칭(예: 영어에 중국어, 프랑스어 또는 일본어 단어 혼합) 조건에서도 합리적인 성능을 유지하며, 한국어 혼합 데이터에서 EM 점수는 81.2에서 39.9로 하락하지만, 여전히 70%의 경우 정답을 올바르게 식별한다.
• 어순 조작(예: SVO → SOV)에 의해 전이 성능에 미치는 영향은 최소한으로, 다양한 어순에서 EM 점수 변화가 3% 이내로 매우 미미하여 multi-BERT가 문법적 차이를 정규화함을 시사한다.
• PCA 시각화 결과, 다국어 토큰(예: 영어 및 중국어)이 공통된 의미 기반 공간에 통합되어 있으며, 미세조정 후 서로 다른 언어의 표현들이 밀집된 군집을 형성함을 확인할 수 있다.