[논문 리뷰] Cross-Lingual Relation Extraction with Transformers

Jian Ni, Taesun Moon외 2명|arXiv (Cornell University)|2020. 10. 16.

Topic Modeling참고 문헌 32인용 수 6

한 줄 요약

이 논문은 다국어 트랜스포머(mBERT/XLM-R)를 사용하여 엔티티 위치 및 유형 정보를 통합한 새로운 인코딩 체계를 도입한 제로샷 다국어 관계 추출 방법을 제안한다. 타겟 언어의 애너테이션이나 다국어 자원을 요구하지 않으며, 두 데이터셋에서 감독 타겟 언어 모델 정확도의 68–89%에 이를 정도로 최신 기술 수준의 성능을 달성하여 저자원 언어로의 전이 효율성이 뛰어나다.

ABSTRACT

Relation extraction (RE) is one of the most important tasks in information extraction, as it provides essential information for many NLP applications. In this paper, we propose a cross-lingual RE approach that does not require any human annotation in a target language or any cross-lingual resources. Building upon unsupervised cross-lingual representation learning frameworks, we develop several deep Transformer based RE models with a novel encoding scheme that can effectively encode both entity location and entity type information. Our RE models, when trained with English data, outperform several deep neural network based English RE models. More importantly, our models can be applied to perform zero-shot cross-lingual RE, achieving the state-of-the-art cross-lingual RE performance on two datasets (68-89% of the accuracy of the supervised target-language RE model). The high cross-lingual transfer efficiency without requiring additional training data or cross-lingual resources shows that our RE models are especially useful for low-resource languages.

연구 동기 및 목표

• 타겟 언어에서 인간 애너테이션 데이터가 필요 없는 다국어 관계 추출 모델을 개발하는 것.
• 병렬 문장집, 기계 번역 시스템, 정렬된 단어 쌍과 같은 다국어 자원에 의존하지 않도록 하는 것.
• 입력 시퀀스에 엔티티 위치와 유형 정보를 효과적으로 통합함으로써 제로샷 전이 성능을 향상시키는 것.
• 다양한 언어와 스크립트 간의 일반화 능력을 향상시키기 위해 공동 다국어 학습의 효과를 평가하는 것.
• 영어 레이블 데이터만을 사용하여 저자원 언어에 대해 높은 다국어 전이 효율성을 입증하는 것.

제안 방법

• 다국어 표현 학습을 위한 백본으로 사전 훈련된 다국어 언어 모델(mBERT 및 XLM-R)을 사용한다.
• 특수 토큰을 사용하여 엔티티 위치와 유형을 명시적으로 표시하는 새로운 입력 인코딩 체계를 도입한다.
• 컨텍스트 기반 표현을 바탕으로 엔티티 쌍 간의 관계 유형을 예측하기 위해 트랜스포머 기반의 분류 헤드를 활용한다.
• 모델을 영어 애너테이션 데이터만으로 훈련하고, 타 언어로의 적용을 위해 미세조정 없이 직접 적용한다.
• 다양한 언어의 데이터를 하나의 공통 모델에 통합하여 공동 다국어 학습을 수행한다.
• 소스 언어에서 다른 언어로의 전이 성능를 평가하기 위해 정규화된 다국어 전이 효율성 지표 ρ를 사용한다.

실험 결과

연구 질문

• RQ1 영어 데이터로만 훈련된 관계 추출 모델이 타겟 언어의 애너테이션 없이 저자원 언어에서 강력한 제로샷 성능을 달성할 수 있는가?
• RQ2 제안된 인코딩 체계가 다국어 전이를 위해 엔티티 위치와 유형 정보를 얼마나 효과적으로 포착하는가?
• RQ3 공동 다국어 학습은 개별 언어에 대해 별도로 훈련된 단일 언어 학습 대비 성능 향상에 기여하는가?
• RQ4 다양한 언어 가문과 스크립트를 사용하는 언어들 간에 모델의 성능가 어떻게 달라지는가?
• RQ5 다른 언어들과 비교할 때 영어가 소스 언어로써의 상대적 전이 효율성은 어떠한가?

주요 결과

• 제안된 XLM-R-ETM-EMP 모델은 제로샷 다국어 관계 추출에서 감독 타겟 언어 모델의 F1 점수의 68–89%를 달성한다.
• 의존 구문 분석기나 품사 태깅 도구를 사용하지 않아도, 여러 딥 뉴럴 네트워크 기반의 영어 RE 모델보다 성능이 뛰어나다.
• 모든 언어의 데이터를 함께 사용한 공동 다국어 학습은 각 언어에 대해 별도로 훈련된 단일 언어 모델보다 더 높은 성능을 낸다.
• 다양한 언어 가문에 속하고 다른 스크립트를 사용하는 언어들 간에도 다국어 모델은 일관된 성능을 유지한다.
• 영어는 가장 높은 다국어 전이 효율성(ρ)을 보이며, 제로샷 전이에 최적의 소스 언어로 적합하다.
• 모델은 다국어 자원이나 언어별 자원을 전혀 필요로 하지 않으면서도 다국어 관계 추출 분야에서 최신 기술 수준의 성능을 달성한다.