[논문 리뷰] Cross-Lingual BERT Transformation for Zero-Shot Dependency Parsing

Yuxuan Wang, Wanxiang Che외 3명|arXiv (Cornell University)|2019. 09. 15.

Topic Modeling참고 문헌 31인용 수 12

한 줄 요약

이 논문은 데이터 효율적인 방법인 Cross-Lingual BERT Transformation (CLBT)을 제안한다. CLBT는 단일 언어 BERT 임베딩을 공유 의미 공간으로 매핑하기 위해 문맥 기반 단어 정렬에서 선형 변환을 학습하며, 이를 통해 제로샷 다국어 의존성 파싱을 가능하게 한다. CLBT는 이전의 정적 임베딩 방법보다 평균 LAS에서 2.91%의 절대적 향상을 이룩했으며, XLM과 유사하거나 이를 초월하는 성능을 내지만, 언어당 10,000개의 병렬 문장만을 사용하고 훨씬 적은 학습 시간을 소모한다.

ABSTRACT

This paper investigates the problem of learning cross-lingual representations in a contextual space. We propose Cross-Lingual BERT Transformation (CLBT), a simple and efficient approach to generate cross-lingual contextualized word embeddings based on publicly available pre-trained BERT models (Devlin et al., 2018). In this approach, a linear transformation is learned from contextual word alignments to align the contextualized embeddings independently trained in different languages. We demonstrate the effectiveness of this approach on zero-shot cross-lingual transfer parsing. Experiments show that our embeddings substantially outperform the previous state-of-the-art that uses static embeddings. We further compare our approach with XLM (Lample and Conneau, 2019), a recently proposed cross-lingual language model trained with massive parallel data, and achieve highly competitive results.

연구 동기 및 목표

• 저자원 환경에서 문맥 기반 표현을 다국어 간으로 전이하는 데 도전하는 데 목적을 두며.
• 다국어 BERT 임베딩을 위한 공유 의미 공간을 학습하여 제로샷 다국어 의존성 파싱을 향상시키는 데 목적을 두며.
• 종합적인 다국어 전이 학습과 비교해 데이터 효율성과 계산 비용 측면에서 가벼운 방법을 개발하는 데 목적을 두며.
• 문맥에 민감한 변환을 통해 다국어 정렬 중 어원의 의미 차이를 유지하는 데 목적을 두며.
• XLM과 같은 대규모 다국어 전이 학습 모델의 대체로 빠르고 오프라인으로 적용 가능한 방법을 제공하는 데 목적을 두며.

제안 방법

• CLBT는 병렬 코퍼스에서 얻은 문맥 기반 단어 정렬을 사용해 단일 언어 BERT 임베딩을 공유 의미 공간으로 매핑하는 선형 변환 행렬을 학습한다.
• 변환은 다양한 언어 간에 정렬된 단어 토큰을 기반으로 경사 하강법(GD) 또는 특이값 분해(SVD)를 통해 학습된다.
• 다른 언어에서 사전에 훈련된 BERT 모델의 문맥 기반 임베딩은 학습된 변환을 통해 공유 공간으로 투영된다.
• 이 방법은 타입 수준이 아닌 토큰 수준에서 임베딩을 정렬함으로써 어원의 의미 차이를 유지하도록 특별히 설계되어 있다.
• 이 방법은 오프라인으로 작동하며 BERT 모델의 재학습이 필요 없으며, 병렬 정렬이 있는 모든 언어 조합에 적용 가능하다.
• 변환은 추론 시점에 문장 수준의 BERT 인코딩에 적용되며, 이를 의존성 파서에 입력하기 전에 수행된다.

실험 결과

연구 질문

• RQ1 사전에 훈련된 다국어 BERT 임베딩에 대한 단순한 선형 변환으로 강력한 제로샷 다국어 의존성 파싱 성능를 달성할 수 있는가?
• RQ2 XLM과 같은 최신 다국어 모델과 비교해 CLBT의 성능, 데이터 효율성, 학습 비용 측면에서 어떤가?
• RQ3 이 변환이 언어 간 어원의 의미 차이를 어느 정도 유지하는가?
• RQ4 CLBT의 성능는 병렬 훈련 데이터의 크기에 얼마나 민감한가?
• RQ5 CLBT는 최소 자원으로 새로운 언어 조합에 효과적으로 확장될 수 있는가?

주요 결과

• CLBT는 Universal Dependencies v2.2 테스트 세트에서 평균 LAS 77.85%를 기록했으며, 이는 이전 최고 성능의 정적 임베딩 방법보다 2.91%의 절대적 향상이다.
• CLBT는 불가리아어(bg), 덴마크어(da), 스웨덴어(sv)의 세 언어에서 XLM을 능가했고, 프랑스어에서는 XLM과 동등한 성능을 보였다. 이는 XLM이 0.2~13.1백만 개의 병렬 문장을 사용한 것에 비해 CLBT는 언어당 10,000개의 병렬 문장만을 사용한 점에서 뚜렷한 데이터 효율성을 보였다.
• XLM보다 훨씬 적은 학습 데이터와 시간을 요구했으며, 대규모 하드웨어에서 하루가 아닌 수 시간 내에 학습이 완료되었다.
• t-SNE 시각화 결과 CLBT는 의미가 유사한 단어 토큰이 공유 공간에서 서로 더 가까워지도록 다국어 정렬을 향상시키며, 어원의 의미 군집을 유지함을 확인했다.
• 대부분의 언어에서 5,000개의 병렬 문장으로 성능가 성능이 정점에 도달했으며, 게르만어 및 라틴어계 언어처럼 문법적으로 유사한 언어 조합에는 100개의 문장만으로도 충분했다.
• SVD 기반 CLBT 버전은 GD 기반 방법과 유사한 성능를 기록했지만 훨씬 더 빠른 학습 속도를 보여, 빠른 구현에 실용적이다.