[논문 리뷰] A Large-Scale Multilingual Disambiguation of Glosses

José Camacho-Collados, Claudio Delli Bovi외 2명|arXiv (Cornell University)|2016. 08. 24.

Natural Language Processing Techniques참고 문헌 26인용 수 3

한 줄 요약

이 논문은 263개 언어에서 다수의 자료원에서 유래한 의미가 명확히 해소된 텍스트 정의(의미어구)의 대규모 다국어 코퍼스를 제시한다. BabelNet의 의미 네트워크와 다국어 간 상호보완성을 활용하여 의미 해소 정밀도가 90% 이상을 기록한다. 이 코퍼스는 http://lcl.uniroma1.it/disambiguated-glosses에서 무료로 이용 가능하며, 최신 기술 기반 시스템에 통합될 경우 오픈 정보 추출 및 의미 클러스터링 작업의 성능을 크게 향상시킨다.

ABSTRACT

Linking concepts and named entities to knowledge bases has become a crucial Natural Language Understanding task. In this respect, recent works have shown the key advantage of exploiting textual definitions in various Natural Language Processing applications. However, to date there are no reliable large-scale corpora of sense-annotated textual definitions available to the research community. In this paper we present a large-scale high-quality corpus of disambiguated glosses in multiple languages, comprising sense annotations of both concepts and named entities from a unified sense inventory. Our approach for the construction and disambiguation of the corpus builds upon the structure of a large multilingual semantic network and a state-of-the-art disambiguation system; first, we gather complementary information of equivalent definitions across different languages to provide context for disambiguation, and then we combine it with a semantic similarity-based refinement. As a result we obtain a multilingual corpus of textual definitions featuring over 38 million definitions in 263 languages, and we make it freely available at http://lcl.uniroma1.it/disambiguated-glosses. Experiments on Open Information Extraction and Sense Clustering show how two state-of-the-art approaches improve their performance by integrating our disambiguated corpus into their pipeline.

연구 동기 및 목표

• 다국어 자연어 처리 응용을 위한 대규모, 고품질, 의미가 주석이 된 정의 텍스트 코퍼스의 부족을 해결하기 위해.
• 정의의 다국어 간 및 자료 간 상호보완성을 활용하여 정의 지식의 신뢰성과 커버리지 향상.
• 고정밀도 및 고카버리지 NLP 파이프라인을 지원하는 의미 해소 정의 코퍼스를 구축하기 위해.
• 이 코퍼스의 실용성을 내재적 및 외재적 자연어 처리 작업에서 평가하여, 후속 시스템에 미치는 영향을 입증하기 위해.

제안 방법

• BabelNet, 다국어 의미 네트워크를 활용하여 의미 목록을 통합하고 의미 해소의 대규모 대상 제공.
• 다양한 언어 및 자료원 간 동치 정의를 취합하여 의미 해소의 맥락을 풍부하게 하기.
• NASARI 벡터를 사용한 의미 유사도 기반 정밀도 향상 모듈을 적용하여 의미 해소 정밀도 향상.
• Babelfy와 히وري스틱 방법(MCS)을 사용해 초도 의미 해소 점수를 생성한 후, 고정밀도 인스턴스만 필터링.
• 표준화된 XML 형식으로 결과를 저장하며, 정의 별 주석으로 BabelNet ID, 출처, 표면 형태 일치 여부, 신뢰도 점수 포함.
• 완전한 코퍼스와 고정밀도 서브셋을 공개하며, 후자는 저오류, 고정밀 응용에 최적화되어 있음.

실험 결과

연구 질문

• RQ1 정의의 다국어 간 및 자료 간 상호보완성이 의미 해소 성능을 크게 향상시킬 수 있는가?
• RQ2 정의의 다국어, 다자원 코퍼스에서 의미 해소 정밀도는 어느 정도 달성될 수 있는가?
• RQ3 의미 해소 정의 코퍼스는 오픈 정보 추출 및 의미 클러스터링과 같은 후행 자연어 처리 작업에서 얼마나 효과적인가?
• RQ4 고정밀도 서브셋은 신뢰할 수 있는 의미 네트워크나 지식 기반 보강 자료로 활용될 수 있는가?

주요 결과

• 의미 해소 시스템은 세 언어에서 무작위 샘플 정의에 대해 90% 이상의 정밀도를 기록했으며, 이는 이전 접근 방식을 초월한다.
• NASARI 기반 의미 유사도로 향상된 고정밀도 코퍼스는 SemEval 위키백과 의미 클러스터링 데이터셋에서 F1 점수를 7.3 포인트 향상시켰다.
• 의미 해소 정의를 오픈 정보 추출 시스템에 통합함으로써 원래 파이프라인 대비 측정 가능한 성능 향상이 이루어졌다.
• NASARI + 정의 모델은 SemEval 데이터셋에서 88.1%의 정확도를 기록하여 베이스라인 및 Dandala-다국어 시스템을 모두 앞섰다.
• 완전한 코퍼스는 263개 언어에서 3800만 개 이상의 의미 해소 정의를 포함하고 있어, 현재까지 알려진 가장 큰 다국어 정의 코퍼스이다.
• 고정밀도 코퍼스는 크기가 작지만 오류율이 크게 감소하여 의미 네트워크 보강과 같은 고정밀 응용에 적합하다.