[論文レビュー] xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks

Ting-Yun Chang, Ta-Chung Chi+2 more|arXiv (Cornell University)|Sep 10, 2018

Topic Modeling参考文献 19被引用数 18

ひとこと要約

xSenseは、注意メカニズムとRNNを用いて、意味別に分離されたスパース表現を学習し、人間が読みやすいテキスト的定義を生成する教師なしフレームワークを提案する。文脈に適応した次元選択により意味を分離することで、BLEUスコアおよび人間評価において優れた性能を達成し、解釈可能な定義を提供する。また、既存リソースの5倍以上の大規模かつ高品質な文脈-定義データセットをリリースする。

ABSTRACT

Despite the success achieved on various natural language processing tasks, word embeddings are difficult to interpret due to the dense vector representations. This paper focuses on interpreting the embeddings for various aspects, including sense separation in the vector dimensions and definition generation. Specifically, given a context together with a target word, our algorithm first projects the target word embedding to a high-dimensional sparse vector and picks the specific dimensions that can best explain the semantic meaning of the target word by the encoded contextual information, where the sense of the target word can be indirectly inferred. Finally, our algorithm applies an RNN to generate the textual definition of the target word in the human readable form, which enables direct interpretation of the corresponding word embedding. This paper also introduces a large and high-quality context-definition dataset that consists of sense definitions together with multiple example sentences per polysemous word, which is a valuable resource for definition modeling and word sense disambiguation. The conducted experiments show the superior performance in BLEU score and the human evaluation test.

研究の動機と目的

• 密な単語埋め込みにおける解釈可能性のギャップ、特に1つのベクトルに複数の意味が混同される多義性問題に対処すること。
• 文脈における特定の語の意味に対応するベクトル次元を特定することで、個々の次元の直接的解釈を可能にすること。
• 文脈的情報を用いて、自然言語の定義を生成することで、モデルの透明性を高めること。
• 意味の分離と定義モデリングのための、大規模かつ高品質な文脈-意味-定義トリプルデータセットを構築・リリースすること。

提案手法

• スパース自動エンコーダーを用いて、ターゲット語の密な埋め込みを高次元のスパースベクトルに射影し、意味別次元の特定を可能にする。
• 文脈における語の意味を最もよく反映するスパース表現の顕著な次元を選択するためのアテンション機構を適用する。
• 選択されたスパースベクトルと文脈を条件として、人間が読みやすいテキスト的定義を生成するRNNベースのデコーダーを訓練する。
• 生成された定義がキュレート済みの辞書リソースからの正解定義と一致するように、文脈に適応した損失関数を用いる。
• 意味的クラスタリングの定性的な分析のため、SIF（シフトされた解釈特徴）文書埋め込みを用いて最近傍を計算する。
• 従来のリソースの5倍の規模の、多義語の各意味について複数の例文と定義を含む、高品質な新規データセットをリリースする。

実験結果

リサーチクエスチョン

• RQ1 文脈における異なる語の意味に対応するスパース単語埋め込みの特定の次元を同定できるか？
• RQ2 文脈に特化した意味を反映する、正確で人間が読みやすいテキスト的定義を単語埋め込みから生成できるか？
• RQ3 BLEUスコアおよび人間評価の観点から、定義生成の性能について、既存手法と比較してどのように差がつくか？
• RQ4 文脈とスパース表現のみを用いて、多義語の複数の意味をどの程度正確に分類できるか？

主な発見

• xSenseは、自動評価（BLEUスコア）および人間評価の両面で、既存手法を上回る性能を示した。
• モデルはスパース表現における文脈に特化した次元を効果的に同定でき、追加の学習データを必要とせずに意味の分離を実現した。
• 生成された定義は意味的に整合性があり、最近傍との整合性が取れており、一貫した意味的クラスタリングを示している。
• 訓練データにおけるクラスの不均衡のため、稀な語の意味に対して誤った定義を生成することがある。
• リリースされたデータセットは、既存リソースの5倍のエントリ数を含み、高品質で整合性のある例文と定義を備えている。
• 誤差解析から、最近傍の品質が誤り伝搬の原因となる可能性があることが判明し、特にSIF埋め込みが文脈を正しく表現できない場合に顕著であった。