[논문 리뷰] Cross-Lingual Syntactic Transfer through Unsupervised Adaptation of Invertible Projections

Junxian He, Zhisong Zhang외 2명|arXiv (Cornell University)|2019. 06. 06.

Natural Language Processing Techniques참고 문헌 36인용 수 4

한 줄 요약

이 논문은 원본 언어와 목표 언어 간의 구조적 유사성을 고려하여 소프트 파rameter 공유를 통해 문법 모델을 적응시키는 가군성 교차언어적 전이 방법을 제안한다. 공통의 상호언어 잠재공간에서 레이블이 있는 원본 데이터와 레이블이 없는 목표 언어 데이터를 함께 학습함으로써, 영어를 유일한 원본 언어로 사용하여 10개의 언어 유형이 상이한 언어에서 품사 태깅에서 5.2%의 절대적 향상과 의존성 분석에서 8.3%의 절대적 향상을 달성한다.

ABSTRACT

Cross-lingual transfer is an effective way to build syntactic analysis tools in low-resource languages. However, transfer is difficult when transferring to typologically distant languages, especially when neither annotated target data nor parallel corpora are available. In this paper, we focus on methods for cross-lingual transfer to distant languages and propose to learn a generative model with a structured prior that utilizes labeled source data and unlabeled target data jointly. The parameters of source model and target model are softly shared through a regularized log likelihood objective. An invertible projection is employed to learn a new interlingual latent embedding space that compensates for imperfect cross-lingual word embedding input. We evaluate our method on two syntactic tasks: part-of-speech (POS) tagging and dependency parsing. On the Universal Dependency Treebanks, we use English as the only source corpus and transfer to a wide range of target languages. On the 10 languages in this dataset that are distant from English, our method yields an average of 5.2% absolute improvement on POS tagging and 8.3% absolute improvement on dependency parsing over a direct transfer method using state-of-the-art discriminative models.

연구 동기 및 목표

• 레이블이 없는 목표 언어 데이터나 병렬 코퍼스가 없을 경우, 언어 유형이 상이한 언어로의 교차언어적 문법 전이 성능이 낮다는 문제를 해결하기 위해.
• 레이블이 있는 원본 언어 데이터와 레이블이 없는 목표 언어 데이터를 함께 모델링함으로써 소프트 파arameter 공유를 통한 구조적 생성 모델을 통해 전이 성능을 향상시키기 위해.
• 어휘 표현 간의 열악한 정렬을 보상하기 위해 교차언어적 단어 임베딩 간에 더 표현력 있고 역행성 변환을 학습하기 위해.
• 유의어 기반 생성 모델을 통한 비지도 적응의 효과성을 품사 태깅과 의존성 분석에서 입증하기 위해.
• 생성 모델이 역행성 투영을 통해 제로샷 전이에서 분류 기반 기준선보다 우수한 성능을 내는 것을 경험적으로 입증하기 위해.

제안 방법

• 이 방법은 원본 언어와 목표 언어 표현 간의 정렬을 위해 공통의 상호언어 잠재공간을 학습하는 역행성 투영(정규화 흐름)을 사용한다.
• 품사 태깅을 위한 HMM과 의존성 분석을 위한 DMV라는 구조적 사전 확률를 함께 학습 목표에 통합함으로써, 레이블이 있는 원본 언어 데이터와 레이블이 없는 목표 언어 데이터를 결합한 공동 가능도 목표를 구현한다.
• 정규화된 로그우도 목표를 통해 소프트 파arameter 공유를 강제함으로써, 모델이 목표 언어의 문법과 단어 임베딩을 동시에 적응시킬 수 있도록 한다.
• 모델는 레이블이 있는 원본 언어 데이터와 레이블이 없는 목표 언어 데이터를 모두 사용하여 엔드 투 엔드로 학습되며, 이는 목표 언어의 특성에 대한 비지도 적응을 가능하게 한다.
• 이 방법은 영어를 유일한 원본 언어로 사용하여 Universal Dependencies Treebanks v2.2에서 평가되며, 10개의 거리가 먼 목표 언어를 대상으로 한다.
• 빠른Text와 mBERT 단어 임베딩을 모두 사용하여, 맥락 기반 표현의 영향을 평가하기 위해 구현된다.

실험 결과

연구 질문

• RQ1 레이블이 없는 목표 언어 데이터가 없을 경우, 역행성 투영을 갖춘 생성 모델이 언어 유형이 상이한 언어로의 교차언어적 문법 전이 성능을 향상시킬 수 있는가?
• RQ2 역행성 투영을 사용할 경우 선형 투영과 비교하여 교차언어적 문법 전이 모델링에서 어떤 차이가 있는가?
• RQ3 레이블이 없는 목표 언어 데이터에 대한 비지도 적응이 품사 태깅과 의존성 분석 성능 향상에 어느 정도 기여하는가?
• RQ4 제안된 방법의 성능 향상 정도가 언어 간 거리에 따라 달라지며, 만약 그렇다면 어떤 경향이 있는가?
• RQ5 mBERT와 같은 맥락 기반 임베딩이 흐름 기반 생성 모델의 교차언어 전이 성능을 더욱 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 10개의 거리가 먼 언어에서 강력한 분류 기반 기준선 대비 평균적으로 품사 태깅에서 5.2%의 절대적 향상과 의존성 분석에서 8.3%의 절대적 향상을 달성한다.
• mBERT 임베딩을 사용할 경우, 거리가 먼 언어에서 이 방법은 분류 기반 기준선 대비 평균 6% 향상된 품사 태깅 성능을 보이며, fastText를 사용할 경우 3% 향상된다.
• mBERT 임베딩을 사용할 경우, 10개의 언어 중 7개의 가까운 언어에서 분류 기반 기준선을 초월하며 평균 3% 향상된 성능을 기록한다.
• mBERT를 사용한 흐름 기반 모델의 성능은 fastText를 사용한 경우와 유사한 수준이므로, 현재의 생성 모델이 맥락 기반 임베딩을 의존성 분석에 대해 완전히 활용하지 못하고 있음을 시사한다.
• 이 방법은 거리가 먼 언어에서는 뚜렷한 성능 향상을 보이지만, mBERT를 사용할 경우 몇몇 가까운 언어에서는 분류 기반 기준선에 뒤지며, 언어 간 거리에 따라 모델 선택의 상충 관계가 있음을 나타낸다.
• 결과는 맥락 기반 임베딩이 생성 모델의 독립성 가정을 보완하여 다양한 언어 거리에서 더 나은 성능을 달성하는 데 기여함을 시사한다.