[논문 리뷰] Near or Far, Wide Range Zero-Shot Cross-Lingual Dependency Parsing.

Wasi Uddin Ahmad, Zhisong Zhang외 4명|arXiv (Cornell University)|2018. 11. 01.

Natural Language Processing Techniques인용 수 6

한 줄 요약

이 논문은 다양한 언어 간 거리에서의 다국어 의존성 파싱을 조사하며, 자가주의(self-attention) 모델이 단어 순서를 더 유연하게 모델링할 수 있기 때문에 RNN 기반 인코더보다 제로샷 전이에서 더 우수한 성능을 보인다고 제안한다. 영어 데이터로만 훈련된 자가주의 파서는 31개의 언어로 효과적으로 일반화되며, 가까운 언어 쌍과 먼 언어 쌍 모두에서 뛰어난 강건성을 보인다.

ABSTRACT

Cross-lingual transfer is the major means toleverage knowledge from high-resource lan-guages to help low-resource languages. In this paper, we investigate cross-lingual trans-fer across a broad spectrum of language dis-tances. We posit that Recurrent Neural Net-works (RNNs)-based encoders, since explic-itly incorporating surface word order, are brit-tle for transferring across distant languages,while self-attentive models are more flexibleon modeling word order information; thusthey would be more robust in the cross-lingualtransfer setting. We test our hypothesis bytraining dependency parsers on only Englishcorpus and evaluating them on 31 other lan-guages. With detailed analysis, we find inter-esting patterns showing that RNNs-based ar-chitectures can transfer well for languages thatare close to English, while self-attentive mod-els are have better cross-lingual transferabilityacross a wide range of languages.

연구 동기 및 목표

• 영어와 유사한 언어에서부터 거리가 먼 언어에 이르기까지 다양한 언어 간 거리에서의 다국어 전이 성능을 평가하기 위해.
• RNN 기반 인코더가 고정된 단어 순서에 의존하기 때문에 다국어 전이에서 취약한가를 조사하기 위해.
• 다양한 언어에서 제로샷 의존성 파싱에 있어 자가주의 모델이 더 나은 일반화 능력을 보이는가를 평가하기 위해.
• 영어에서 저자원 언어로의 문법 지식 전이 능력에서 RNN과 자가주의 아키텍처의 강건성 비교하기 위해.

제안 방법

• RNN 기반 및 자가주의 인코더 아키텍처를 모두 사용하여 영어 언어 코퍼스에서만 의존성 파서를 훈련시키기 위해.
• 훈련된 파서를 31개의 저자원 언어에서 평가하여 제로샷 전이 성능를 분석하기 위해.
• RNN이 순차적 순서에 명시적으로 의존하는 데 반해, 자가주의 메커니즘을 활용하여 단어 순서 정보를 더 민첩하게 모델링하기 위해.
• 형태론적 거리가 다른 언어 쌍 간의 전이 성능를 분석하여 모델의 강건성 평가하기 위해.
• 정량적 및 정성적 분석을 통해 RNN과 자가주의 모델의 다국어 환경에서의 성능 비교하기 위해.

실험 결과

연구 질문

• RQ1 RNN 기반 인코더의 성능는 영어와 거리가 다른 언어들 간의 다국어 의존성 파싱에서 어떻게 변할까?
• RQ2 자신의 주의 메커니즘을 사용한 모델은 RNN 기반 모델에 비해 얼마나 먼 언어들 간에 일반화되는가?
• RQ3 RNN이 단어 순서를 명시적으로 모델링하기 때문에, 다른 문법적 구조를 가진 언어로의 전이 능력이 제한되는가?
• RQ4 자신의 주의 메커니즘이 표면적 단어 순서에 덜 민감하기 때문에 더 강건한 다국어 전이를 제공할 수 있는가?

주요 결과

• RNN 기반 아키텍처는 영어와 유사한 언어, 예를 들어 독일어나 프랑스어와 같이 가까운 언어에서 강력한 전이 성능를 보였다.
• 자신의 주의 모델은 가까운 언어 쌍에서부터 먼 언어 쌍에 이르기까지 광범위한 언어 간 거리에서 뛰어난 다국어 전이 능력을 보였다.
• 자신의 주의 메커니즘의 유연성 덕분에 저자원 언어의 다양한 단어 순서와 문법적 구조를 더 잘 처리할 수 있었다.
• RNN은 영어와 상당히 다른 단어 순서를 가진 언어로 지식을 전이할 때 취약했으며, 이는 순차적 처리에 의존하기 때문이다.
• 자신의 주의 파서는 다양한 형태론적 가문에서 일관된 성능를 기록하여 제로샷 환경에서 더 높은 강건성을 보였다.