[논문 리뷰] On the Importance of Word Order Information in Cross-lingual Sequence Labeling

Zihan Liu, Genta Indra Winata외 4명|arXiv (Cornell University)|2020. 01. 30.

Natural Language Processing Techniques인용 수 15

한 줄 요약

이 논문은 다국어 시퀀스 태깅 모델에서 단어 순서 정보를 줄여 저자원 대상 언어로의 제로샷 전이 성능을 향상시키는 것을 제안한다. 위치 임베딩을 제거하거나 수정하고, Conv1D와 같은 순서 무관 아키텍처를 사용하여 수정된 트랜스포머(ORT)를 적용함으로써, 모델은 원본 언어의 단어 순서에 덜 민감해지며, 특히 문법적 구조가 다른 언어로 일반화할 때도 품사 태깅, NER, 슬롯 채우기 작업 전반에서 일관된 성능 향상을 이룬다.

ABSTRACT

Word order variances generally exist in different languages. In this paper, we hypothesize that cross-lingual models that fit into the word order of the source language might fail to handle target languages. To verify this hypothesis, we investigate whether making models insensitive to the word order of the source language can improve the adaptation performance in target languages. To do so, we reduce the source language word order information fitted to sequence encoders and observe the performance changes. In addition, based on this hypothesis, we propose a new method for fine-tuning multilingual BERT in downstream cross-lingual sequence labeling tasks. Experimental results on dialogue natural language understanding, part-of-speech tagging, and named entity recognition tasks show that reducing word order information fitted to the model can achieve better zero-shot cross-lingual performance. Furthermore, our proposed methods can also be applied to strong cross-lingual baselines, and improve their performances.

연구 동기 및 목표

• 원본 언어 모델에서 단어 순서 정보를 줄이면 다국어 전이 성능이 향상되는지 조사하는 것.
• 순서 민감한 모델(예: 표준 트랜스포머)이 원본 언어의 단어 순서에 과적합되어, 문법적 구조가 다른 타겟 언어에서 성능이 떨어지는 문제를 해결하는 것.
• 시퀀스 인코더가 단어 순서에 의존하는 것보다도 적게 하되, 의미적 및 문법적 구조를 유지할 수 있도록 하는 방법을 개발하는 것.
• 순서 감소 모델이 다양한 시퀀스 태깅 작업 전반에서 제로샷 다국어 설정으로 일반화하는 데 더 잘 작동하는지 평가하는 것.
• 너무 많은 또는 너무 적은 단어 순서 정보를 인코딩하는 것 사이의 상충 관계를 분석하고, 다국어 강건성에 최적의 수준을 규명하는 것.

제안 방법

• 위치 임베딩을 제거하고 피드포워드 레이어를 1D 컨볼루션 네트워크(Con1d)로 대체하여 국소적이고 부분적인 순서 정보를 인코딩하는 순서 감소 트랜스포머(ORT)를 제안한다.
• 학습 중에 단어 순서를 셔플링하여, 모델이 순서 변화에 강건해지도록 한다. 이는 랜덤한 순서 매개변수 k를 사용해 토큰 시퀀스를 재배열함으로써 이루어진다.
• 다국어 BERT(M-BERT)의 위치 임베딩을 미세조정 중 동결하여 그 순서에 민감하지 않은 성질을 유지하고 다국어 일반화를 향상시킨다.
• M-BERT의 사인 위치 임베딩을 사용해 ORT의 위치 임베딩을 초기화하고 학습 중 동결함으로써 순서에 민감하지 않은 행동을 유지한다.
• 라벨 시퀀스 간 의존성을 모델링하기 위해 CRF 레이어를 통합하며, 이는 시퀀스 태깅에 필수적인 국소적 순서 패턴을 암묵적으로 인코딩한다.
• 위치 임베딩, 피드포워드 레이어, 셔플링, CRF 사용 여부에 대한 분석 실험을 통해 각 구성 요소의 영향을 고립적으로 분석한다.

실험 결과

연구 질문

• RQ1 원본 언어의 단어 순서에 대한 모델 의존도를 줄이면 제로샷 다국어 시퀀스 태깅 성능이 향상되는가?
• RQ2 Conv1d의 커널 크기를 통해 인코딩되는 단어 순서의 양이 타겟 언어로의 일반화에 어떤 영향을 미치는가?
• RQ3 미세조정 중 M-BERT의 위치 임베딩을 동결하면 다국어 전이 가능성 향상에 기여하는가?
• RQ4 다국어 시퀀스 태깅에 있어 최적의 단어 순서 인코딩 수준—너무 많거나 너무 적은가—는 무엇인가?
• RQ5 단어 순서가 다른 타겟 언어에서, 단어 순서 셔플링된 데이터로 학습하면 모델의 강건성이 향상되는가?

주요 결과

• Conv1d를 사용한 순서 감소 트랜스포머(ORT)는 표준 트랜스포머와 상대적 위치 임베딩 트랜스포머(RPT)보다 제로샷 다국어 시퀀스 태깅에서 뛰어난 성능을 보이며, 슬롯 채우기 작업에서 66.84 F1을 기록했다.
• 학습 중 단어 순서 셔플링이 강건성을 향상시킨다: k=4일 때 ORT는 SF 작업에서 63.54 F1을 기록하여 비셔플링 기반 모델을 능가했다.
• M-BERT의 위치 임베딩을 미세조정 중 동결함으로써 그 순서에 민감하지 않은 성질이 유지되고, 타겟 언어로의 일반화가 향상되었다.
• 과도한 단어 순서 인코딩(예: ORT에서 커널 크기 10)은 제로샷 성능을 떨어뜨리며, 너무 많은 순서 민감도가 전이 가능성에 악영향을 준다는 것을 시사한다.
• 단어 순서 정보를 전혀 인코딩하지 않는 모델(예: 위치 임베딩이 전혀 없는 ORT)은 원본 언어와 타겟 언어 모두에서 성능이 열악하여, 일부 순서 정보는 필수적임을 보여준다.
• CRF 레이어가 성능 향상에 크게 기여하며, ORT + CRF는 SF 작업에서 66.84 F1을 기록하여 라벨 시퀀스 간 의존성이 시퀀스 태깅 작업에 필수적임을 입증한다.