[논문 리뷰] RUSSE'2018: A Shared Task on Word Sense Induction for the Russian Language

Alexander Panchenko, Anastasiya Lopukhina외 5명|arXiv (Cornell University)|2018. 03. 15.

Natural Language Processing Techniques참고 문헌 9인용 수 15

한 줄 요약

이 논문은 러시아어의 단어의미해석유도(WSI)에 대한 첫 번째 공동 과제인 RUSSE'2018을 제시하며, 사전의미 레이블이 없는 상황에서 18개 팀의 모델이 모호한 단어의 맥락을 군집화하는 것을 평가한다. 다양한 출처에서 유래한 세 가지 새로운 데이터셋을 사용하여, 의미 임베딩 기반 방법이 강력한 성능을 보였으며, 러시아어의 형태적 풍부성과 자유로운 어순 구조에서 이전 최고 성능 기준을 크게 뛰어넘는 상위 시스템이 나타났다.

ABSTRACT

The paper describes the results of the first shared task on word sense induction (WSI) for the Russian language. While similar shared tasks were conducted in the past for some Romance and Germanic languages, we explore the performance of sense induction and disambiguation methods for a Slavic language that shares many features with other Slavic languages, such as rich morphology and virtually free word order. The participants were asked to group contexts of a given word in accordance with its senses that were not provided beforehand. For instance, given a word "bank" and a set of contexts for this word, e.g. "bank is a financial institution that accepts deposits" and "river bank is a slope beside a body of water", a participant was asked to cluster such contexts in the unknown in advance number of clusters corresponding to, in this case, the "company" and the "area" senses of the word "bank". For the purpose of this evaluation campaign, we developed three new evaluation datasets based on sense inventories that have different sense granularity. The contexts in these datasets were sampled from texts of Wikipedia, the academic corpus of Russian, and an explanatory dictionary of Russian. Overall, 18 teams participated in the competition submitting 383 models. Multiple teams managed to substantially outperform competitive state-of-the-art baselines from the previous years based on sense embeddings.

연구 동기 및 목표

• 러시아어, 즉 형태적 풍부성과 자유로운 어순을 지닌 슬라브어에서 단어의미해석유도(WSI)에 대한 첫 번째 대규모 공동 평가 캠페인을 마련하기 위해.
• 사전에 정의된 의미 목록이 없는 상황에서 러시아어의 WSI 방법 성능을 평가하기 위해.
• 위키피디아, 학술 코퍼스, 설명 사전 기반으로 다양한 의미 정밀도 수준을 가진 세 가지 새로운 평가 데이터셋을 개발하고 공개하기 위해.
• 저자원 슬라브어에서 최신 WSI 기법, 특히 의미 임베딩 기반 모델을 기준으로 성능을 평가하기 위해.
• 러시아어 WSI를 위한 표준화된 기준 평가 기준을 제공함으로써 다국어 NLP의 발전을 촉진하기 위해.

제안 방법

• 공동 과제는 목표 단어의 맥락을 사전에 의미 수의 수나 정의를 알지 못한 채 의미 군집으로 군집화하도록 요구하였다.
• 세 가지 평가 데이터셋을 구성하였다: 위키피디아에서, 러시아어 학술 코퍼스에서, 설명 사전에서 유래한 각각 다른 의미 정밀도 수준을 가진 데이터셋.
• 실제 텍스트에서 맥락을 추출하고, 토크나이제이션 및 어형화 등의 표준 NLP 도구를 사용해 전처리하였다.
• 참가자들은 의미 임베딩 기반 군집화, 분포적 의미론, 신경망 아키텍처 등 다양한 WSI 기법을 적용하였다.
• 군집 품질을 측정하기 위해 조정된 랜드 인덱스(ARI)와 정규화된 상호정보량(NMI)과 같은 표준 군집 평가 지표를 사용하였다.
• 모델은 사전에 의미 목록이 제공되지 않은 제로샷 설정에서 훈련 및 평가되었다.

실험 결과

연구 질문

• RQ1 기존의 단어의미해석유도 방법들이 형태적 풍부성과 자유로운 어순을 지닌 러시아어에 얼마나 잘 일반화되는가?
• RQ2 의미 임베딩 기반 모델이 사전의미 레이블 없이 러시아어 WSI에서 강력한 성능을 내는가?
• RQ3 훈련 데이터의 의미 정밀도가 러시아어 WSI 시스템의 성능에 어떤 영향을 미치는가?
• RQ4 다양한 텍스트 출처(예: 위키피디아 대비 학술 코퍼스 대비 사전)가 WSI 성능에 미치는 상대적 영향은 무엇인가?
• RQ5 최신 WSI 모델이 러시아어에서 이전의 기준 성능을 얼마나 뛰어넘는가?

주요 결과

• 상위 성능을 보인 시스템들은 특히 조정된 랜드 인덱스(ARI)와 정규화된 상호정보량(NMI) 측면에서 이전 최고 성능 기준을 크게 뛰어넘었다.
• 의미 임베딩 기반 모델은 다양한 데이터셋과 의미 정밀도 수준에서 강력한 강인성과 일반화 능력을 보였다.
• 설명 사전에서 유래한 데이터셋이 가장 일관된 결과를 보였으며, 이는 고품질의 수동으로 코딩된 의미 차이 때문일 것이다.
• 위키피디아 데이터로 훈련된 모델들은 뛰어난 성능를 보였지만, 비공식 텍스트의 노이즈와 모호성에 더 민감했다.
• 전반적으로 18개 팀에서 383개의 모델을 제출하였으며, 여러 팀이 최소 한 개의 데이터셋에서 ARI 점수 0.7 이상을 달성하여 러시아어 WSI 분야에서의 뚜렷한 진전을 보였다.