[논문 리뷰] Adversarial Learning with Contextual Embeddings for Zero-resource Cross-lingual Classification and NER

Phillip Keung, Yichao Lu외 1명|arXiv (Cornell University)|2019. 08. 31.

Topic Modeling참고 문헌 14인용 수 5

한 줄 요약

이 논문은 다국어 BERT를 사용하여 자원이 없는 다국어 간 전이 성능을 향상시키기 위해 언어에 대한 적대적 훈련을 제안한다. 여기서 구분자(discriminator)는 영어와 비영어 텍스트를 구분하도록 훈련되며, 생성자(generator, BERT)는 언어에 관계없이 동일한 표현을 생성하도록 최적화된다. 이 방법은 MLDoc 텍스트 분류와 CoNLL NER에서 영어와 번역된 문서 간 표현 간 유사도를 높여, 독일어 NER에서 F1 점수가 최대 3.3점 상승하고, 평균적으로 영어와 번역된 문서 표현 간 코사인 유사도가 0.73에서 0.94로 상승시킨다.

ABSTRACT

Contextual word embeddings (e.g. GPT, BERT, ELMo, etc.) have demonstrated state-of-the-art performance on various NLP tasks. Recent work with the multilingual version of BERT has shown that the model performs very well in zero-shot and zero-resource cross-lingual settings, where only labeled English data is used to finetune the model. We improve upon multilingual BERT's zero-resource cross-lingual performance via adversarial learning. We report the magnitude of the improvement on the multilingual MLDoc text classification and CoNLL 2002/2003 named entity recognition tasks. Furthermore, we show that language-adversarial training encourages BERT to align the embeddings of English documents and their translations, which may be the cause of the observed performance gains.

연구 동기 및 목표

• 병렬 데이터나 다국어 자원을 사용하지 않고도 다국어 자연어 처리 작업에서 자원이 없는 다국어 간 전이 성능을 향상시키는 것.
• 언어에 대한 적대적 훈련이 영어와 번역된 문서 간 다국어 BERT 표현 간의 정렬을 향상시키는지 조사하는 것.
• 적대적 미세조정이 MLDoc 및 CoNLL NER 벤치마크에서 이전의 자원이 없는 기준 성능을 능가할 수 있음을 보여주는 것.
• 적대적 훈련이 다국어 모델 성능의 일관성과 강건성에 미치는 영향을 분석하는 것.
• 언어에 관계없이 동일한 표현을 학습하는 것이 향상된 자원이 없는 전이 성능의 핵심 요인인지 탐색하는 것.

제안 방법

• BERT로 임bed된 입력 시퀀스가 영어인지 다른 언어인지 구분하는 언어 구분자가 훈련된다.
• 생성자(다국어 BERT)는 구분자가 언어를 구분하지 못하도록 하기 위해 생성자 손실을 최소화하도록 최적화된다.
• 전체 훈련 목표는 작업별 손실(예: 텍스트 분류 또는 NER용), 생성자 손실, 구분자 손실을 조합한다.
• 비지도 비영어 텍스트를 사용하여 적대적 업데이트를 수행하면서, 레이블이 있는 영어 데이터에서의 미세조정 동안 적대적 훈련이 적용된다.
• 영어 문서와 그 번역본의 평균 풀링된 BERT 임베딩을 계산하여 코사인 유사도로 의미 정렬 정도를 측정한다.
• 초기화된 하이퍼파라미터는 영어 개발 세트에서 튜닝되며, 모델은 여러 언어의 자원이 없는 테스트 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 적대적 훈련은 다국어 텍스트 분류 및 NER 작업에서 자원이 없는 다국어 간 성능을 향상시키는가?
• RQ2 언어에 대한 적대적 훈련은 영어 문서와 그 비영어 번역본 간 표현 간 정렬을 어느 정도 향상시키는가?
• RQ3 적대적 미세조정은 다국어 자원을 사용하는 이전의 자원이 없는 기준 성능과 비교해 어떻게 성능을 냈는가?
• RQ4 적대적 훈련은 다양한 언어 간 다국어 성능의 일관성과 안정성을 높이는가?
• RQ5 관찰된 성능 향상은 모델이 더 언어에 관계없이 동일한 표현을 학습하기 때문인가?

주요 결과

• 적대적 훈련은 MLDoc의 모든 언어에서 자원이 없는 텍스트 분류 정확도를 향상시켰으며, 독일어와 일본어에서 가장 큰 향상을 보였고, 정확도가 최대 5.5%p 상승했다.
• CoNLL 2002/2003 NER 벤치마크에서 적대적 미세조정은 독일어의 F1 점수를 68.6에서 71.9로, 스페인어의 F1 점수를 75.0에서 74.3으로 상승시켜 이전의 자원이 없는 방법을 능가했다.
• 적대적 훈련 없이 0.73였던 영어 문서와 번역본의 BERT 임베딩 간 중앙 코사인 유사도는 적대적 훈련 시 0.94로 상승하여 더 강한 정렬을 나타낸다.
• 성능 향상은 모든 언어에서 일관되었으며, 적대적 훈련은 훈련 단계 동안 테스트 정확도의 분산을 감소시켜 더 안정적인 수렴을 유도했다.
• 적대적 훈련 없이도 다국어 BERT의 자원이 없는 성능는 이전에 발표된 결과를 뛰어넘었으며, 강력한 본질적 자원이 없는 전이 능력을 지닌 것으로 나타났다.
• 결과는 언어에 대한 적대적 훈련가 다국어 일반화 능력을 향상시키며, 모델이 언어에 관계없이 동일한 표현을 학습하도록 유도함으로써 성능 향상을 이룬다는 것을 시사한다.