[논문 리뷰] Cross-Lingual Transfer Learning for Question Answering

Chia‐Hsuan Lee, Hung-yi Lee|arXiv (Cornell University)|2019. 07. 13.

Topic Modeling참고 문헌 44인용 수 7

한 줄 요약

이 논문은 중국어와 같이 자원이 적은 목표 언어에서 성능을 향상시키기 위해 기계 번역(MT) 기반 및 GAN 기반 접근법을 모두 활용한 다국어 간 전이 학습을 제안한다. GAN 기반 방법은 언어 구분자와 단어별 이중어사전을 사용해 적대적 훈련을 통해 언어에 관계없이 동일한 표현을 학습하며, 문장 수준의 번역 시스템이 필요로 하지 않음에도 불구하고 MT 기반 방법과 맞먹는 성능을 달성한다. 두 방법을 조합하면 중국어 DRCD 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Deep learning based question answering (QA) on English documents has achieved success because there is a large amount of English training examples. However, for most languages, training examples for high-quality QA models are not available. In this paper, we explore the problem of cross-lingual transfer learning for QA, where a source language task with plentiful annotations is utilized to improve the performance of a QA model on a target language task with limited available annotations. We examine two different approaches. A machine translation (MT) based approach translates the source language into the target language, or vice versa. Although the MT-based approach brings improvement, it assumes the availability of a sentence-level translation system. A GAN-based approach incorporates a language discriminator to learn language-universal feature representations, and consequentially transfer knowledge from the source language. The GAN-based approach rivals the performance of the MT-based approach with fewer linguistic resources. Applying both approaches simultaneously yield the best results. We use two English benchmark datasets, SQuAD and NewsQA, as source language data, and show significant improvements over a number of established baselines on a Chinese QA task. We achieve the new state-of-the-art on the Chinese QA dataset.

연구 동기 및 목표

• 영어와 같이 자원이 풍부한 언어에서 자원이 적은 언어(예: 중국어)의 질문 응답 성능을 향상시키기 위해 지식 전이를 활용한다.
• 기계 번역이 고자원 언어에서 저자원 언어로 질문 응답 지식을 효과적으로 전이할 수 있는지 조사한다.
• 문장 수준의 번역 시스템에 의존하지 않고 단어별 이중어사전만을 사용하는 저자원 다국어 간 전이 방법을 개발한다.
• MT 기반 및 GAN 기반 전이 접근법의 효과성을 비교한다.
• 두 방법을 조합하여 저자원 목표 언어에서 최적의 성능을 달성한다.

제안 방법

• MT 기반 접근법은 QA 모델을 미세조정하기 전에 소스 언어(예: 영어) 훈련 데이터를 목표 언어(예: 중국어)로 문장 수준 번역 시스템을 사용해 번역한다.
• GAN 기반 접근법은 도메인 적대적 훈련을 통해 언어에 관계없는 잠재 표현을 학습하기 위해 언어에 의존하는 레이어와 언어 구분자를 도입한다.
• 언어 구분자는 소스 언어 및 목표 언어 표현을 구분하도록 훈련되며, QA 모델은 구분자를 속이도록 훈련되어 공통된 특징 학습을 장려한다.
• 훈련 과정에서 소스 또는 목표 언어에 의존하는 레이어를 번갈아가며 업데이트하여 주 손실를 최소화하고, 다른 레이어는 QA 손실만 최소화하여 훈련 안정성을 확보한다.
• 이 방법은 문장 수준의 MT 시스템에 의존하지 않고 단어별 이중어사전만을 사용한다.
• MT 기반 및 GAN 기반 접근법을 조합하면 최고의 성능을 달성하며, 번역과 적대적 특징 정렬을 모두 활용한다.

실험 결과

연구 질문

• RQ1 문장 수준의 기계 번역이 고자원 언어에서 저자원 언어로 질문 응답 지식을 효과적으로 전이할 수 있는가?
• RQ2 단어별 이중어사전만을 사용하는 GAN 기반 접근법이 다국어 간 질문 응답에서 MT 기반 방법과 비슷한 성능을 달성할 수 있는가?
• RQ3 언어 구분자를 사용한 적대적 훈련이 다국어 간 전이를 위한 언어에 관계없는 표현을 학습하는 데 도움이 되는가?
• RQ4 MT 기반 및 GAN 기반 전이 전략을 조합하면 성능 향상이 이루어지는가?
• RQ5 다국어 간 전이를 사용할 경우 목표 언어에서 필요한 레이블이 부여된 데이터의 양은 얼마이며, 완전한 지도 학습과 비교해 볼 때 어떤가?

주요 결과

• MT 기반 접근법은 SQuAD를 소스로 사용할 경우 중국어 DRCD 데이터셋에서 성능을 크게 향상시켜 F1 스코어 87.26을 달성한다.
• 단어별 이중어사전만을 사용하는 GAN 기반 접근법은 최고의 MT 기반 접근법과 맞먹는 성능을 보이며, SQuAD 기반 훈련에서 F1 스코어 85.35를 기록한다.
• MT 및 GAN 기반 접근법을 조합하면 최고의 성능을 달성하며, SQuAD 기반 훈련에서는 F1 스코어 87.26, NewsQA 기반 훈련에서는 84.94를 기록한다.
• 소스(영어) 표현을 목표(중국어)로 정렬하는 GAN-CH 버전이 GAN-EN보다 뛰어난 성능을 보이며, 소스를 목표로 정렬하는 것이 더 효과적임을 시사한다.
• 제안된 방법은 기준 모델이 25,000개의 페어로 훈련된 것과 동일한 성능을 달성하기 위해 중국어 레이블이 부여된 데이터를 15,000개의 QA 페어로 줄일 수 있어 강력한 데이터 효율성을 보여준다.
• GAN 기반 방법은 중국어 DRCD 데이터셋에서 최신 기술 수준 성능을 달성하며, 저자원 다국어 간 질문 응답에 새로운 벤치마크를 설정한다.