[논문 리뷰] On Difficulties of Cross-Lingual Transfer with Order Differences: A Case Study on Dependency Parsing

Wasi Uddin Ahmad, Zhisong Zhang외 4명|arXiv (Cornell University)|2018. 11. 01.

Natural Language Processing Techniques참고 문헌 57인용 수 7

한 줄 요약

이 논문은 문법적 순서의 차이로 인해 신경망 아키텍처 설계가 종속 구문 분석에서 다국어 간 전이에 어떻게 영향을 미치는지 조사한다. 순서 민감형 RNN과 순서 무관형 자기주의 모델을 비교하여, 자기주의 모델이 특히 문법적 유형이 다른 언어들 사이에서 더 잘 일반화됨을 발견하였다.

ABSTRACT

Different languages might have different word orders. In this paper, we investigate cross-lingual transfer and posit that an order-agnostic model will perform better when transferring to distant foreign languages. To test our hypothesis, we train dependency parsers on an English corpus and evaluate their transfer performance on 30 other languages. Specifically, we compare encoders and decoders based on Recurrent Neural Networks (RNNs) and modified self-attentive architectures. The former relies on sequential information while the latter is more flexible at modeling word order. Rigorous experiments and detailed analysis shows that RNN-based architectures transfer well to languages that are close to English, while self-attentive models have better overall cross-lingual transferability and perform especially well on distant languages.

연구 동기 및 목표

• 언어 간 어순 변동이 종속 구문 분석에서 다국어 간 전이에 어떻게 영향을 미치는지 조사하기.
• 순서에 강인한(self-attention) 모델이 순서 민감형(RNN) 모델보다 다국어 전이에서 뛰어나게 성능을 발휘하는지 평가하기.
• 어순 유형 기반 언어 거리 측정을 정량화하고, 이를 전이 성능과 연관지어 분석하기.
• 다양한 문법적 구조를 가진 언어 가문 간에 신경망 아키텍처의 일반화 능력 평가하기.
• 특히 먼 언어 쌍에서 전이 성공 여부에 아키텍처 설계가 미치는 영향을 규명하기.

제안 방법

• 유니버설 의존성(UD) v2.2 트리뱅크에서 유도된 의존 관계를 사용해 언어별 어순 특성 벡터를 구축하였다.
• 계층적 클러스터링(가장 가까운 점 알고리즘)을 적용하여 어순 유형 기반 언어 거리 시각화를 수행하였다.
• RNN 기반 및 수정된 자기주의(Transformer 스타일) 인코더 및 디코더를 사용해 종속 구문 분석기 모델을 훈련시켰다.
• 단일 소스 전이 설정을 통해 영어에서 30개의 다른 언어로의 다국어 전이 성능을 평가하였다.
• F1 점수를 통해 전이 성능을 측정하고, 'As-source'(소스 평균) 및 'As-target'(타겟 평균) 메트릭을 사용해 결과를 집계하였다.
• 가설 검증을 위해 전이 성능과 언어 거리 간의 피어슨 상관관계를 분석하였다.

실험 결과

연구 질문

• RQ1 아키텍처 선택(RNN 대 자기주의)이 종속 구문 분석에서 다국어 전이 성능에 유의미하게 영향을 미치는가?
• RQ2 어순 유형이 신경망 모델의 언어 간 전이 가능성에 어떻게 영향을 미치는가?
• RQ3 언어적으로 거리가 먼 언어로 전이할 경우, 순서 무관 모델이 순서 민감형 모델보다 얼마나 더 뛰어나게 성능을 발휘하는가?
• RQ4 어순 기반 언어 거리와 전이 성능 저하 사이에 측정 가능한 상관관계가 존재하는가?
• RQ5 자기주의 메커니즘은 다국어 NLP 전이에서 문법적 어순 차이의 부정적 영향을 완화시킬 수 있는가?

주요 결과

• 자기주의 기반 모델은 RNN 기반 모델보다 다국어 전이 성능이 유의미하게 뛰어나며, 특히 어순이 다른 먼 언어들에서 두드러진다.
• As-source 성능과 언어 거리 간의 피어슨 상관계수는 -0.90으로, 강한 반상관관계를 보이며, 언어 거리가 클수록 전이 성능이 낮아짐을 시사한다.
• As-target 성능 역시 언어 거리와 강한 반상관관계(r = -0.87)를 보이며, 어순이 전이 어려움에 기여한다는 것을 뒷받침한다.
• RNN 기반 모델은 영어와 가까운 언어(예: 독일어, 네덜란드어)에서는 잘 작동하지만, 일본어나 한국어와 같이 먼 언어에서는 성능이 급격히 떨어진다.
• 자기주의 모델은 신대륙어족, 우랄어족, 아프로아시아어족 등 다양한 언어 가문에서도 높은 성능을 유지하여, 유형적 다양성에 대한 강건성을 보였다.
• 결과는 순서에 강인한 모델이 언어별 어순 패턴에 과적합되지 않아서, 언어 간 일반화 능력이 더 뛰어나다는 가설을 지지한다.