[論文レビュー] RUSSE'2018: A Shared Task on Word Sense Induction for the Russian Language

Alexander Panchenko, Anastasiya Lopukhina+5 more|arXiv (Cornell University)|Mar 15, 2018

Natural Language Processing Techniques参考文献 9被引用数 15

ひとこと要約

本論文は、ロシア語における語の意味の誘導（WSI）のための最初の共有課題である RUSSE'2018 を提示し、意味の曖昧な語の文脈を事前の意味アノテーションなしにクラスタリングする18チームのモデルを評価した。多様なソースから得た3つの新しいデータセット（意味の粒度が異なる）を用いて、意味埋め込みに基づく手法が優れた性能を示した。特に、ロシア語の豊富な屈折語構造と自由な語順の特徴を持つ言語において、トップシステムは、以前の最先端のベースラインを顕著に上回った。

ABSTRACT

The paper describes the results of the first shared task on word sense induction (WSI) for the Russian language. While similar shared tasks were conducted in the past for some Romance and Germanic languages, we explore the performance of sense induction and disambiguation methods for a Slavic language that shares many features with other Slavic languages, such as rich morphology and virtually free word order. The participants were asked to group contexts of a given word in accordance with its senses that were not provided beforehand. For instance, given a word "bank" and a set of contexts for this word, e.g. "bank is a financial institution that accepts deposits" and "river bank is a slope beside a body of water", a participant was asked to cluster such contexts in the unknown in advance number of clusters corresponding to, in this case, the "company" and the "area" senses of the word "bank". For the purpose of this evaluation campaign, we developed three new evaluation datasets based on sense inventories that have different sense granularity. The contexts in these datasets were sampled from texts of Wikipedia, the academic corpus of Russian, and an explanatory dictionary of Russian. Overall, 18 teams participated in the competition submitting 383 models. Multiple teams managed to substantially outperform competitive state-of-the-art baselines from the previous years based on sense embeddings.

研究の動機と目的

• ロシア語（豊富な屈折語構造と自由な語順を持つスラブ語）における語の意味の誘導（WSI）のための、最初の大規模な共有評価キャンペーンを確立すること。
• 事前に定義された意味アノテーションのない状況で、ロシア語におけるWSI手法の性能を評価すること。
• ウィキペディア、学術コロナ、解説辞書に基づいて、意味の粒度が異なる3つの新しい評価データセットを開発・公開すること。
• 低リソースのスラブ語としてのロシア語において、最先端のWSI技術、特に意味埋め込みに基づくモデルをベンチマークすること。
• 標準化されたベンチマークを提供することで、多言語NLP分野の進展を促進すること。

提案手法

• 共有課題では、チームに事前の意味の数や定義の知識なしに、ターゲット語の文脈を意味クラスタにグループ化することを要請した。
• 3つの評価データセットを構築した：ウィキペディアから1つ、学術的ロシア語コロナから1つ、解説辞書から1つ。それぞれが異なる意味の粒度レベルを持つ。
• 文脈は実際のテキストから抽出され、トークナイゼーションやレムマタイゼーションなどの標準的なNLPツールを用いて前処理された。
• 参加者は、意味埋め込みに基づくクラスタリング、分布的意味論、ニューラルネットワークアーキテクチャなど、さまざまなWSI技術を適用した。
• クラスタリングの品質を測るため、調整付きランダムインデックス（ARI）や正規化相互情報量（NMI）といった標準的なクラスタリング指標を用いて評価した。
• モデルはゼロショット設定で訓練・評価された。訓練段階では意味アノテーションが提供されなかった。

実験結果

リサーチクエスチョン

• RQ1 既存の語の意味の誘導手法は、豊富な屈折語構造と自由な語順を持つロシア語にどの程度一般化できるか？
• RQ2 事前の意味アノテーションなしに、意味埋め込みに基づくモデルはロシア語WSIで優れた性能を発揮できるか？
• RQ3 学習データにおける意味の粒度は、ロシア語WSIシステムの性能にどのように影響するか？
• RQ4 テキストのソース（例：ウィキペディア vs. 学術コロナ vs. 辞書）の相違が、WSI性能に及ぼす相対的な影響は何か？
• RQ5 最先端のWSIモデルは、ロシア語において、以前のベースラインをどの程度上回るか？

主な発見

• 上位のシステムは、特に調整付きランダムインデックス（ARI）と正規化相互情報量（NMI）の観点で、以前の最先端のベースラインを顕著に上回った。
• 意味埋め込みに基づくモデルは、異なるデータセットおよび意味の粒度レベルにおいて、強い頑健性と一般化性能を示した。
• 解説辞書から得たデータセットは、高品質で手作業で整えられた意味の区別があるため、最も一貫性のある結果をもたらした。
• ウィキペディアのデータで学習したモデルは優れた性能を示したが、非公式なテキストに含まれるノイズや曖昧さに対してより感受性が高かった。
• 全体として18チームが383のモデルを提出し、複数のチームが少なくとも1つのデータセットでARIスコア0.7以上を達成した。これはロシア語WSI分野における顕著な進歩を示している。