[논문 리뷰] RUSSE: The First Workshop on Russian Semantic Similarity

Alexander Panchenko, Natalia Loukachevitch외 4명|arXiv (Cornell University)|2018. 03. 15.

Topic Modeling참고 문헌 28인용 수 41

한 줄 요약

이 논문은 Dialogue 2015와 함께 개최된 러시아 의미론적 유사도 평가(RUSSE) 공유 작업을 조사하고, 네 가지 새로운 러시아 명사 의미-유사성 벤치마크를 제안하며 19개 팀의 105개 제출물을 분석한다. 영어식 분포적 방법이 러시아에 잘 확장되고 지도학습 및 비지도학습 접근법 모두 잘 수행될 수 있음을 시사한다.

ABSTRACT

The paper gives an overview of the Russian Semantic Similarity Evaluation (RUSSE) shared task held in conjunction with the Dialogue 2015 conference. There exist a lot of comparative studies on semantic similarity, yet no analysis of such measures was ever performed for the Russian language. Exploring this problem for the Russian language is even more interesting, because this language has features, such as rich morphology and free word order, which make it significantly different from English, German, and other well-studied languages. We attempt to bridge this gap by proposing a shared task on the semantic similarity of Russian nouns. Our key contribution is an evaluation methodology based on four novel benchmark datasets for the Russian language. Our analysis of the 105 submissions from 19 teams reveals that successful approaches for English, such as distributional and skip-gram models, are directly applicable to Russian as well. On the one hand, the best results in the contest were obtained by sophisticated supervised models that combine evidence from different sources. On the other hand, completely unsupervised approaches, such as a skip-gram model estimated on a large-scale corpus, were able score among the top 5 systems.

연구 동기 및 목표

• 러시아어에서 의미론적 유사성 연구를 고무하고, 러시아어가 영어 및 다른 언어와 차별화시키는 풍부한 형태소와 자유 어순과 같은 언어적 특징을 강조한다.
• 새로운 벤치마크 데이터세트를 사용하여 러시아 명사 의미 유사성을 평가하기 위한 공유 작업(RUSSE)을 소개한다.
• 의미유사성에 대한 러시아 NLP 연구의 격차를 해소하기 위한 평가 방법론과 기본 결과를 제공한다.

제안 방법

• 네 가지 새로운 벤치마크 데이터세트를 기반으로 한 러시아 명사 의미 유사성에 대한 공유 작업 프레임워크를 제안한다.
• 러시아어 데이터에 분포적 접근법과 스킵그램 모델을 적용하고 평가한다.
• 참여 팀의 제출물을 분석하여 지도학습과 비지도학습 접근법의 효과를 식별한다.
• 영어에서 성공적인 방법이 러시아어에도 적용 가능함을 시연하고, 지도 모델이 최상위 결과를 보이며 대규모 비지도 모델이 경쟁력 있게 수행한다.

실험 결과

연구 질문

• RQ1 영어식 분포적 방법과 스킵그램 모델을 러시아어 의미 유사성 작업에 효과적으로 적용할 수 있는가?
• RQ2 러시아어 명사 의미 유사성에서 지도학습 대 비지도학습 접근법의 효과성은 무엇인가?
• RQ3 제안된 네 가지 러시아어 명사 유사성 벤치마크가 러시아어 텍스트 전반에서 의미 있는 의미 관련성을 포착하는가?
• RQ4 참가자 결과가 러시아어 NLP 과제의 모델링 선택에 대해 어떤 통찰을 제공하는가?

주요 결과

• 코퍼스에서 학습된 대규모 스킵그램 모델이 상위 다섯 개 시스템 가운데 하나의 순위를 차지할 수 있다.
• 여러 출처의 정보를 결합한 고도로 발달된 지도학습 모델이 최상의 결과를 얻는다.
• 분포적 방법과 스킵그램 방법은 풍부한 형태소와 자유 어순에도 불구하고 러시아어에 직접 적용 가능하다.
• 본 연구는 공유 작업 전체에서 19개 팀의 105개 제출물을 분석한다.