[논문 리뷰] Choosing Transfer Languages for Cross-Lingual Learning

Yu-Hsiang Lin, Chian-Yu Chen외 11명|arXiv (Cornell University)|2019. 05. 29.

Natural Language Processing Techniques참고 문헌 41인용 수 33

한 줄 요약

본 논문은 교차 언어 학습에서 전이 언어 선택을 랭킹 학습 문제(LangRank)로 다루고, 데이터셋 통계와 언어 유형학을 결합해 주어진 저자원 태스크 언어에 대해 MT, EL, POS 태깅, 그리고 의존 구문 분석에 최적의 고자원 전이 언어를 예측한다.

ABSTRACT

Cross-lingual transfer, where a high-resource transfer language is used to improve the accuracy of a low-resource task language, is now an invaluable tool for improving performance of natural language processing (NLP) on low-resource languages. However, given a particular task language, it is not clear which language to transfer from, and the standard strategy is to select languages based on ad hoc criteria, usually the intuition of the experimenter. Since a large number of features contribute to the success of cross-lingual transfer (including phylogenetic similarity, typological properties, lexical overlap, or size of available data), even the most enlightened experimenter rarely considers all these factors for the particular task at hand. In this paper, we consider this task of automatically selecting optimal transfer languages as a ranking problem, and build models that consider the aforementioned features to perform this prediction. In experiments on representative NLP tasks, we demonstrate that our model predicts good transfer languages much better than ad hoc baselines considering single features in isolation, and glean insights on what features are most informative for each different NLP tasks, which may inform future ad hoc selection even without use of our method. Code, data, and pre-trained models are available at https://github.com/neulab/langrank

연구 동기 및 목표

• 주어진 저자원 태스크 언어에 대해 최적의 전이 언어를 선택하는 문제를 동기 부여하고 형식화한다.
• 데이터셋 의존/비의존 특징을 이용해 전이 언어의 유용성을 예측하는 랭킹 모델 LangRank를 제안한다.
• LangRank가 MT, EL, POS 태깅, 의존 구문 분석 전반에서 단일 특징 기반 기준보다 우수함을 보여준다.
• 전체 훈련 데이터 없이도 데이터 특징의 중요도를 분석해 교육적 추정에 대한 인사이트를 제공한다.

제안 방법

• 주어진 태스크 언어 t에 대해 후보 전이 언어 집합에서 전이 언어 선정을 랭킹 학습 문제로 형식화한다.
• 각 언어쌍 (t,a)에 대한 특징을 추출한다. 데이터셋 의존 특징(예: 데이터셋 크기, Type-Token 비율, 단어/부분단어 중복도)과 URIEL로부터의 유전적, 문법적, 음운적, 지리적, 어휘 목록, 형질적 거리 등 데이터셋 비의존 언어 거리를 포함한다.
• 경사 부스팅 의사결정 트리 모델(GBDT)에 LambdaRank를 적용해 기대 태스크 점수 c_{t,a}에 따라 전이 언어의 순위 목록을 예측한다.
• 다수의 학습 태스크 언어에 걸쳐 전이 언어 쌍을 전수 평가해 금표준(rankings)을 얻어 학습 데이터를 구성한다.
• 정규화된 할인 누적 이득(NDCG@3)을 사용해 랭킹을 평가하고 LangRank 변형들(all features, dataset-only, URIEL-only)을 기준선과 비교한다.
• 교차 태스크 실험(MT, EL, POS, DEP)에서 하나의 언어를 남겨두고 교차 검증하는 방식으로 일반화를 평가한다.

실험 결과

연구 질문

• RQ1 데이터 드리븐 랭킹 모델이 전통적 휴리스틱 기준에 비해 교차 언어 NLP 태스크의 전이 언어 선택을 개선할 수 있는가?
• RQ2 데이터셋 의존 특징 대 데이터셋 비의존 특징 중 어떤 특징이 다양한 NLP 태스크에서 효과적은 전이 언어를 예측하는 데 가장 informative한가?
• RQ3 LangRank는 MT, EL, POS 태깅, 의존 구문 분석에서 단일 특징 기반 기준 및 언어 거리 기반 기준에 비해 어떤 성능을 보이는가?
• RQ4 전이 언어 선택에 있어 특징의 중요성에 대한 실용적 시사점은 무엇인가?
• RQ5 Typology 또는 데이터셋 특징만 사용할 수 있는 제로샷 또는 저자원 설정에서도 LangRank 예측은 유용한가?

주요 결과

• LangRank는 네 가지 NLP 태스크 전반에서 단일 특징 휴리스틱을 크게 능가한다.
• 데이터셋 의존 특징과 언어적 거리를 결합하는 것이 일반적으로 가장 좋은 전이 언어 예측을 제공하며, 특히 MT와 POS에서 데이터셋 특징이 우세하다.
• EL의 경우 전체 문장 수준 데이터가 부족하면 일부 데이터셋 특징의 유용성이 감소하지만 언어적 거리는 여전히 강력한 지표를 제공한다.
• LangRank(all features)은 대체로 baselines보다 높은 NDCG@3를 달성하며, 일부 설정에서 데이터셋만의 특징이 MT와 POS에서 최적의 성능을 보인다.
• 특징 중요도 분석은 MT에서 데이터셋 크기와 어휘 중복이 의사결정에 중요한 반면, EL과 DEP의 경우 지리적 및 문법적 거리가 저자원 상황에서 우위를 점하는 경향을 보인다.
• 타입올로지 정보(URIEL 특징)만 있어도 LangRank는 휴리스틱 기반 기준보다 우수하게 작동하여 대상 태스크의 자원 수집 이전에도 실용적으로 적용 가능성을 시사한다.