[논문 리뷰] Huge Automatically Extracted Training Sets for Multilingual Word Sense Disambiguation

Tommaso Pasini, Francesco Elia외 1명|arXiv (Cornell University)|2018. 05. 12.

Natural Language Processing Techniques참고 문헌 1인용 수 6

한 줄 요약

이 논문은 BabelNet과 위키백과를 활용하여 영어 및 유럽·아시아의 다섯 가지 주요 언어를 포함하는 여섯 개의 대규모 다국어 자동 태깅 단어 의미 해석(WSD) 데이터셋을 제시한다. Train-o-Matic이라는 반자동 시스템을 통해 수백만 개의 의미 태깅 문장을 생성함으로써, 특히 자원이 부족한 언어에서 최신 기술 수준 또는 경쟁 가능한 성능을 달성할 수 있도록 한다.

ABSTRACT

We release to the community six large-scale sense-annotated datasets in multiple language to pave the way for supervised multilingual Word Sense Disambiguation. Our datasets cover all the nouns in the English WordNet and their translations in other languages for a total of millions of sense-tagged sentences. Experiments prove that these corpora can be effectively used as training sets for supervised WSD systems, surpassing the state of the art for low-resourced languages and providing competitive results for English, where manually annotated training sets are accessible. The data is available at trainomatic.org.

연구 동기 및 목표

• 감독형 단어 의미 해석(WSD)을 위한 대규모 다국어 의미 태깅 학습 데이터의 부족 문제를 해결하기 위해.
• 수동 태깅 데이터가 부족하거나 이용할 수 없는 자원이 부족한 언어에서 고성능 감독형 WSD를 가능하게 하기 위해.
• 수동 태깅에 의존하지 않고도 고카버리지 다국어 WSD 코퍼스를 만드는 확장 가능한 자동화된 방법을 개발하기 위해.
• 자동 생성된 데이터셋이 여러 언어에서 기존 최신 기술 수준의 시스템을 능가하거나 동등하게 성능을 내는지 평가하기 위해.
• 자원이 부족한 언어와 자원이 풍부한 언어의 WSD를 모두 지원하는 공개 자원을 제공하여 다국어 NLP 분야의 재현 가능성과 발전을 촉진하기 위해.

제안 방법

• 단어의 의미 목록을 정의하기 위해 다국어 의미 네트워크인 BabelNet(백과사전 및 어휘 지식을 통합)을 활용한다.
• 학습 데이터 수집을 위해 대규모 다국어 원시 문장 코퍼스로 위키백과를 사용한다.
• 크로스-링구얼 정렬과 의미 유사도를 이용해 문맥 속 단어를 의미 분포로 자동 태깅하는 Train-o-Matic 시스템을 적용한다.
• 위키백과의 커뮤니티 태깅된 의미 링크와 다국어 정렬 기반의 의미 전파 기법을 활용해 학습 데이터를 풍부화시킨다.
• 높은 품질의 의미 태깅을 유지하고 낮은 신뢰도 예측은 기각하기 위해 신뢰도 기반 필터링을 적용한다.
• 영어 WordNet의 모든 명사와 그 다섯 개 언어(프랑스어, 독일어, 스페인어, 이탈리아어, 중국어)로의 번역어를 추출하여 수백만 개의 의미 태깅 문장을 포함하는 데이터셋을 구축한다.

실험 결과

연구 질문

• RQ1 자동으로 추출된 대규모 다국어 WSD 코퍼스는 기존 최신 기술 수준의 시스템과 비교해 성능이 유사하거나 뛰어나게 할 수 있는가?
• RQ2 자동 생성된 학습 데이터가 자원이 부족한 언어의 WSD 성능을 얼마나 향상시킬 수 있는가?
• RQ3 BabelNet과 위키백과의 조합이 고품질 다국어 의미 태깅 코퍼스를 생성하는 데 얼마나 효과적인가?
• RQ4 수동 태깅 없이도 다양한 언어에서 다양한 어휘 항목을 포괄하는 방법이 확장 가능한가?
• RQ5 수동으로 정제된 데이터셋으로 훈련된 시스템과 비교해 자동 생성된 데이터셋으로 훈련된 WSD 시스템의 성능은 영어와 같은 자원이 풍부한 언어에서 어떻게 되는가?

주요 결과

• 자동 생성된 데이터셋은 여섯 개 언어에 걸쳐 수백만 개의 의미 태깅 문장을 포함하며, 기존 자원을 훨씬 초월하는 학습 커버리지를 제공한다.
• 제안된 데이터셋으로 훈련된 감독형 WSD 시스템은 프랑스어, 독일어, 스페인어, 이탈리아어, 중국어와 같은 자원이 부족한 언어에서 최신 기술 수준을 초월한다.
• 영어의 경우, 새로운 데이터로 훈련된 시스템은 SemCor와 같은 수동으로 정제된 데이터로 훈련된 일부 시스템보다 경쟁력 있는 성능을 달성한다.
• 학습 데이터 부족이 시스템 성능을 제한하는 자원이 부족한 환경에서 성능 향상 효과가 특히 두드러진다.
• BabelNet과 위키백과의 활용은 수동 작업 없이도 확장 가능한 다국어 의미 태깅을 가능하게 하여 대규모 자동 데이터 생성의 가능성을 입증한다.
• 이 데이터셋은 trainomatic.org에서 공개되어 있어 재현 가능성과 다국어 NLP 연구 분야의 광범위한 활용을 가능하게 한다.