[논문 리뷰] Translation and Fusion Improves Zero-shot Cross-lingual Information Extraction

Yang Chen, Vedaant Shah외 1명|arXiv (Cornell University)|2023. 05. 23.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 번역 및 융합 프레임워크인 TransFusion을 제안한다. 이는 저자원 언어 텍스트를 영어로 번역하고, 고자원 언어 NER 모델을 사용해 주석을 붙인 후, 양 언어의 예측을 융합하여 제로샷 다국어 명명된 실체 인식(NER) 성능을 향상시킨다. 이 방법은 최신 기술 수준(SOTA) 성능을 달성하며, MasakhaNER2.0 및 LORELEI NER의 25개 저자원 언어에서, 미세조정된 영어 모델 대비 최대 +16 F1 향상과 Translate-train 기반 모델 대비 +6.9 F1 향상을 기록한다.

ABSTRACT

Large language models (LLMs) combined with instruction tuning have shown significant progress in information extraction (IE) tasks, exhibiting strong generalization capabilities to unseen datasets by following annotation guidelines. However, their applicability to low-resource languages remains limited due to lack of both labeled data for fine-tuning, and unlabeled text for pre-training. In this paper, we propose TransFusion, a framework in which models are fine-tuned to use English translations of low-resource language data, enabling more precise predictions through annotation fusion. Based on TransFusion, we introduce GoLLIE-TF, a cross-lingual instruction-tuned LLM for IE tasks, designed to close the performance gap between high and low-resource languages. Our experiments across twelve multilingual IE datasets spanning 50 languages demonstrate that GoLLIE-TF achieves better zero-shot cross-lingual transfer over the base model. In addition, we show that TransFusion significantly improves low-resource language named entity recognition when applied to proprietary models such as GPT-4 (+5 F1) with a prompting approach, or fine-tuning different language models including decoder-only (+14 F1) and encoder-only (+13 F1) architectures.

연구 동기 및 목표

• 다국어 모델을 사용할 때 저자원 및 소수 언어에 대한 다국어 NER 성능 격차를 해소하기 위해.
• 목표 언어의 미세조정 데이터가 없는 제로샷 환경에서 기존 Translate-train 및 미세조정 접근 방식의 한계를 극복하기 위해.
• 원본 저자원 언어 텍스트와 번역된 고자원 언어 데이터의 예측을 융합하는 강력한 추론 시점 프레임워크를 개발하기 위해.
• MasakhaNER2.0 및 LORELEI NER를 포함한 25개 저자원 언어에서 다양한 저자원 NER 데이터셋에 대해 이 방법을 평가하기 위해.
• 번역 및 주석 오류에 대한 저항성과 다국어 모델 및 대규모 언어 모델과의 호환성을 입증하기 위해.

제안 방법

• 번역-융합 프레임워크는 저자원 언어 테스트 문장을 신경 기반 기계 번역 모델을 사용해 영어로 번역한다.
• 완전히 지도된 영어 NER 모델이 번역된 문장을 주석 처리하여 고자원 측면에서 고품질의 예측을 생성한다.
• TransFusion는 원본 저자원 언어 입력과 번역된 주석이 달린 영어 입력의 예측을 융합하도록 훈련된 신경망 모델이다.
• 모델은 후기 융합 메커니즘을 사용하여 양 모odal에 주의를 기울이며, 교차 어텐션 또는 연결 기반 융합을 통해 어느 한 쪽의 오류를 수정할 수 있다.
• 테스트 시점에 번역과 주석만을 사용하여 목표 언어의 미세조정 없이도 제로샷 추론을 지원한다.
• 대규모 언어 모델(Like ChatGPT)을 위한 프롬프팅 전략도 도입되었으며, 이는 자기 융합(self-fusion)을 통해 제로샷 예측과 번역 및 주석 처리된 출력을 결합한다.

Figure 1: An illustration of developing TransFusion model for cross-lingual entity recognition from CoNLL2003 (Tjong Kim Sang and De Meulder, 2003 ) English to Tigrinya: (a) Creating training data to train TransFusion using EasyProject (Chen et al., 2023 ) ; (b) Training the TransFusion model, which

실험 결과

연구 질문

• RQ1 저자원 언어 텍스트를 고자원 언어로 번역하고 주석을 융합하면 제로샷 다국어 NER 성능이 향상되는가?
• RQ2 TransFusion 모델은 저자원 NER 벤치마크에서 미세조정된 영어 모델과 Translate-train 기반 모델 대비 어떻게 성능을 내는가?
• RQ3 TransFusion 프레임워크는 번역 오류와 원천 언어 예측 오류에 얼마나 강건한가?
• RQ4 이 융합 프레임워크는 ChatGPT와 같은 대규모 언어 모델을 사용한 제로샷 환경으로 확장 가능한가?
• RQ5 융합 과정에서 추가적인 고자원 언어를 통합하면 저자원 언어의 성능 향상에 기여하는가?

주요 결과

• TransFusion는 MasakhaNER2.0 데이터셋에서 미세조정된 영어 모델 대비 +16 F1 향상을 기록하여 제로샷 다국어 NER에서 최신 기술 수준의 성능을 입증한다.
• LORELEI NER 데이터셋에서는 영어 미세조정 대비 +10.7 F1 향상과 Translate-train 기반 모델 대비 +3.9 F1 향상을 기록한다.
• 더 작은 600M NLLB-200 번역 모델을 사용해도 성능이 유지되며, 번역 품질이 낮음에도 불구하고 Translate-train를 능가한다.
• 사례 연구를 통해 TransFusion는 번역 오류와 원천 언어 주석 오류를 성공적으로 수정함을 입증하였으며, 번역-테스트 방식은 오차 또는 잘못된 양성 결과로 인해 실패하는 경우가 있음을 보여준다.
• Self-Fusion 프롬프팅 방법은 ChatGPT의 MasakhaNER2.0 제로샷 NER 성능을 +6.3 F1 향상시켜 LLM 기반 제로샷 추론에의 적용 가능성을 입증한다.
• 여러 고자원 언어의 예측을 융합하면 성능 향상이 더욱 뚜렷해지며, 이는 모델의 확장성과 다국어 모델과의 상호보완성에 기여한다.

Figure 4: Examples of NER errors in MasakhaNER2.0. TransFusion is more robust to translation errors and English NER prediction errors compared to Translate-Test, which relies on word alignments.