[論文レビュー] How much does a word weigh? Weighting word embeddings for word sense induction

Nikolay Arefyev, Pavel Ermolaev+1 more|arXiv (Cornell University)|May 23, 2018

Topic Modeling参考文献 10被引用数 11

ひとこと要約

本稿では、語の意味の曖昧性を解消するための新しいアプローチを提示する。語の意味の曖昧な文脈のクラスタリングを改善するために、語の意味埋め込みを重み付けすることで、ロシア語における意味の誘導を実現する。文脈埋め込みの重み付き平均を用いた手法は、RUSSE'2018の2つのデータセットで2番目の成績を達成し、残りの1つのデータセットでは3番目の成績を記録した。これは、意味埋め込みに依存する先行の最先端手法を著しく上回った。

ABSTRACT

The paper describes our participation in the first shared task on word sense induction and disambiguation for the Russian language RUSSE'2018 (Panchenko et al., 2018). For each of several dozens of ambiguous words, the participants were asked to group text fragments containing it according to the senses of this word, which were not provided beforehand, therefore the "induction" part of the task. For instance, a word "bank" and a set of text fragments (also known as "contexts") in which this word occurs, e.g. "bank is a financial institution that accepts deposits" and "river bank is a slope beside a body of water" were given. A participant was asked to cluster such contexts in the unknown in advance number of clusters corresponding to, in this case, the "company" and the "area" senses of the word "bank". The organizers proposed three evaluation datasets of varying complexity and text genres based respectively on texts of Wikipedia, Web pages, and a dictionary of the Russian language. We present two experiments: a positive and a negative one, based respectively on clustering of contexts represented as a weighted average of word embeddings and on machine translation using two state-of-the-art production neural machine translation systems. Our team showed the second best result on two datasets and the third best result on the remaining one dataset among 18 participating teams. We managed to substantially outperform competitive state-of-the-art baselines from the previous years based on sense embeddings.

研究の動機と目的

• 意味が事前に定義されていないロシア語における意味誘導の課題に対処すること。
• 意味の曖昧な語の文脈のクラスタリング性能を、ターゲット語に対する関連性に基づいて語の埋め込みを重み付けすることによって向上させること。
• Wikipedia、ウェブページ、辞書の項目など、多様なテキストタイプ—複雑さの異なるレベルを含む—に対して、この手法を評価すること。
• 意味埋め込みに依存する既存の最先端手法を上回ること。
• 低リソース言語および多言語NLP設定において、重み付き埋め込み表現の有効性を示すこと。

提案手法

• 各文脈を、意味の曖昧な語に対する意味的関連性に基づいて学習または導出された重みをもつ語の埋め込みの重み付き平均として表現する。
• 肯定的実験では、文脈に応じた重み付けを用いて、異なる意味における曖昧語の表現を洗練する。
• 否定的実験では、ニューラル機械翻訳システムを用いて文脈表現を生成し、代替ベースラインとして用いる。
• 事前学習済み語の埋め込みを活用し、重み付き表現に対してクラスタリングアルゴリズム（例：k-means）を適用して意味を誘導する。
• モデルは、Wikipedia、ウェブページ、ロシア語辞書から得た3つの異なるデータセット上で訓練および評価され、多様なテキストジャンルと複雑さをカバーする。
• V-measure や調整ランダムインデックスなどの標準的なクラスタリング指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 重み付き語の埋め込みは、ロシア語のような低リソース言語における意味誘導の質を向上させることができるか？
• RQ2 文脈に適応した語の埋め込みの重み付けは、意味の曖昧な語のクラスタリングにおいて、標準的な平均化と比較して優れているか？
• RQ3 ニューラル機械翻訳システムは、意味誘導における意味表現の代理として、どの程度有効に機能するか？
• RQ4 提案手法は、Wikipedia、ウェブコンテンツ、辞書の定義など、多様なテキストドメインに一般化可能か？
• RQ5 意味埋め込みに依存する先行の最先端手法と比較して、この手法はどの程度の性能を示すか？

主な発見

• 提案手法は、RUSSE'2018の評価データセットの2つで2位の成績を達成した。
• 残りの1つのデータセットでは、参加18チーム中3位の成績を記録した。
• 意味埋め込みに依存する以前の最先端手法を著しく上回った。
• 語の埋め込みの重み付き平均化により、より判別力のある文脈表現が得られ、クラスタリング精度が向上した。
• Wikipedia、ウェブページ、辞書の項目など、多様なテキストタイプに対して、手法の頑健性が示された。
• ニューラル機械翻訳システムを用いた否定的実験は、競争力のあるベースラインを提供したが、肯定的重み付き埋め込み手法がそれを上回った。