[論文レビュー] RUSSE: The First Workshop on Russian Semantic Similarity

Alexander Panchenko, Natalia Loukachevitch+4 more|arXiv (Cornell University)|Mar 15, 2018

Topic Modeling参考文献 28被引用数 41

ひとこと要約

この論文は、Dialogue 2015と共催されたロシア語意味的類似性評価(RUSSE)の共用タスクを概観し、4つの新しいロシア語名詞意味類似ベンチマークを提案し、19チームから105件の提出を分析する。英語風の分布的手法がロシア語にも適用可能であること、監視付きと非監視式の双方の手法が良い成績を挙げ得ることを示している。

ABSTRACT

The paper gives an overview of the Russian Semantic Similarity Evaluation (RUSSE) shared task held in conjunction with the Dialogue 2015 conference. There exist a lot of comparative studies on semantic similarity, yet no analysis of such measures was ever performed for the Russian language. Exploring this problem for the Russian language is even more interesting, because this language has features, such as rich morphology and free word order, which make it significantly different from English, German, and other well-studied languages. We attempt to bridge this gap by proposing a shared task on the semantic similarity of Russian nouns. Our key contribution is an evaluation methodology based on four novel benchmark datasets for the Russian language. Our analysis of the 105 submissions from 19 teams reveals that successful approaches for English, such as distributional and skip-gram models, are directly applicable to Russian as well. On the one hand, the best results in the contest were obtained by sophisticated supervised models that combine evidence from different sources. On the other hand, completely unsupervised approaches, such as a skip-gram model estimated on a large-scale corpus, were able score among the top 5 systems.

研究の動機と目的

• ロシア語の意味的類似性研究を動機づけ、ロシア語と英語他言語を区別する豊かな形態論と自由な語順といった言語的特徴を強調する。
• 新しいベンチマークデータセットを用いてロシア語名詞意味類似性を評価する共有タスク(RUSSE)を導入する。
• ロシア語NLP研究の意味的類似性に関するギャップを埋める評価方法論とベースライン結果を提供する。

提案手法

• ロシア語名詞意味類似性の共有タスクの枠組みを、4つの新規ベンチマークデータセットに基づいて提案する。
• ロシア語データに分布表現アプローチとスキップグラムモデルを適用・評価する。
• 参加チームの提出を分析して、監視式対非監視式のアプローチの有効性を特定する。
• 英語で成功している手法がロシア語にも適用可能であることを示し、監視モデルがトップ結果を、巨大な非監視モデルが競争力を持つ。

実験結果

リサーチクエスチョン

• RQ1 英語風の分布表現とスキップグラムモデルをロシア語の意味的類似性タスクに効果的に適用できるか？
• RQ2 ロシア語名詞意味類似性に対する監視式と非監視式アプローチの有効性は？
• RQ3 提案された4つのロシア語名詞類似性ベンチマークは、ロシア語テキスト全体の意味的関連性を意味のある形で捉えているか？
• RQ4 参加者結果はロシア語NLPタスクのモデリング選択についてどんな洞察を提供するか？

主な発見

• コーパス上で訓練された大規模なスキップグラムモデルは、トップ5システムに入ることができる。
• 複数の情報源を組み合わせる高度な監視型モデルが最高の結果を達成する。
• 分布表現およびスキップグラムの手法は、豊かな形態論と自由な語順にもかかわらずロシア語へ直接適用可能である。
• 本研究はRUSSE共用タスクで19チームから105件の提出を分析した。