[논문 리뷰] Multilingual Word Sense Disambiguation with Unified Sense Representation

Ying Su, Hongming Zhang외 2명|arXiv (Cornell University)|2022. 10. 14.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 BabelNet의 통합된 의미 표현을 활용하고 기계 번역 및 정렬을 통해 자원이 풍부한 언어(예: 영어)에서 자원이 부족한 언어로 주석을 전이함으로써 다국어 어휘의 의미 해석(MWSD) 시스템인 mBERT-UNI를 제안한다. 공통된 의미 표현을 공유하면서 다국어 데이터를 종합적으로 학습함으로써, 영어에서의 뛰어난 성능을 유지하면서도 자원이 부족한 언어의 성능을 향상시키며, 특히 희귀 의미어에 대해 유의미한 개선을 이룬다.

ABSTRACT

As a key natural language processing (NLP) task, word sense disambiguation (WSD) evaluates how well NLP models can understand the lexical semantics of words under specific contexts. Benefited from the large-scale annotation, current WSD systems have achieved impressive performances in English by combining supervised learning with lexical knowledge. However, such success is hard to be replicated in other languages, where we only have limited annotations.In this paper, based on the multilingual lexicon BabelNet describing the same set of concepts across languages, we propose building knowledge and supervised-based Multilingual Word Sense Disambiguation (MWSD) systems. We build unified sense representations for multiple languages and address the annotation scarcity problem for MWSD by transferring annotations from rich-sourced languages to poorer ones. With the unified sense representations, annotations from multiple languages can be jointly trained to benefit the MWSD tasks. Evaluations of SemEval-13 and SemEval-15 datasets demonstrate the effectiveness of our methodology.

연구 동기 및 목표

• 자원이 풍부한 언어에서의 주석을 활용하여 다국어 어휘의 의미 해석(MWSD)에서의 데이터 부족 문제를 해결한다.
• 어휘 지식과 주석의 부족함이 여러 언어 간에 일관되지 않은 WSD 시스템의 과제를 해결한다.
• BabelNet의 동의어 집합과 어휘 설명을 사용하여 통합된 의미 표현을 구성함으로써 다국어 간의 공동 학습을 가능하게 한다.
• 추가적인 인간 주석 데이터가 필요 없이 자원이 부족한 언어의 성능을 향상시킨다.
• 통합된 의미 표현을 통해 희귀 의미어의 해석을 향상시킨다.

제안 방법

• BabelNet 동의어 집합을 사용하여 다국어 간에 동일한 의미를 가진 단어들을 통합된 의미 표현으로 구성한다.
• WordNet과 위키백과의 어휘 지식(설명문)을 의미 표현에 통합하여 의미 이해를 풍부하게 한다.
• 기계 번역 및 단어 정렬 도구를 사용하여 자원이 풍부한 언어(예: 영어)의 주석을 자원이 부족한 언어로 전이한다.
• SemCor와 자동 생성된 다국어 코퍼스를 결합한 공동 다국어 데이터셋을 사용하여 다국어 BERT 기반 모델(mBERT-UNI)을 학습한다.
• 다국어 데이터를 공동으로 학습함으로써 주석 효율성과 모델 일반화 능력을 향상시키며, 특히 자원이 부족한 언어에서 유의미한 개선을 이룬다.
• MuLaN과 같은 데이터 생성 기법을 통합하여 문맥 기반 임베딩과 전이 학습을 활용해 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 BabelNet의 통합된 의미 표현은 자원이 부족한 언어에서 다국어 WSD 성능을 향상시키는가?
• RQ2 공통된 의미 표현을 공유하면서 다국어 데이터를 공동으로 학습할 경우, 단일 언어 학습 대비 더 나은 의미 해석 성능을 달성하는가?
• RQ3 자원이 풍부한 언어에서 전이된 주석은 인간 주석 데이터가 없이도 자원이 부족한 환경에서 MWSD 성능을 효과적으로 향상시키는가?
• RQ4 희귀 의미어에 대해 모델의 성능은 어떻게 되는가? 이는 훈련 샘플이 적어 해석이 어려운 경향이 있기 때문이다.
• RQ5 공동 학습이 영어와 같은 자원이 풍부한 언어의 성능에 악영향을 미치는가?

주요 결과

• mBERT-UNI 모델은 SemEval-13 및 SemEval-15 벤치마크에서 최고 성능을 기록하였으며, 영어와 이탈리아어 데이터를 함께 학습할 경우 이탈리아어 테스트 세트에서 0.24%의 절대적 성능 향상을 보였다.
• 공동 학습은 여섯 개의 자원이 부족한 언어 중 네 개(스페인어, 프랑스어, 독일어, 이탈리아어)에서 성능 향상을 이끌었으며, 영어의 성능는 비교적 유사한 결과(ALL 테스트 세트에서 75.70 대비 75.76)를 기록했다.
• 가장 흔하지 않은 의미어(LCS)에서의 성능 향상이 뚜렷하게 나타나, 통합된 의미 표현이 희귀 의미어에 대한 일반화 능력을 향상시킨다는 점을 입증했다. 이는 훈련 데이터가 극히 적은 경우에도 효과적이다.
• 통합된 표현에 어휘 설명을 통합함으로써, 번역된 데이터와 MuLaN 생성 데이터를 포함한 모든 테스트 코퍼스에서 희귀 의미어의 성능 향상이 이루어졌다.
• 공동 학습 시에도 영어 WSD 과제에서 뛰어난 성능을 유지함으로써, 자원이 부족한 언어에서의 부정적 전이 효과가 없음을 확인했다.
• 공통된 의미 공간을 공유함으로써 효과적인 다국어 간 전이가 가능하며, MuLaN과 같은 다른 데이터 생성 기법과도 호환 가능하다.