[論文レビュー] Inducing and Embedding Senses with Scaled Gumbel Softmax

Fenfei Guo, Mohit Iyyer+1 more|arXiv (Cornell University)|Apr 22, 2018

Neural Networks and Applications参考文献 79被引用数 3

ひとこと要約

本稿では、スケーリングされたGumbel-Softmaxを用いて離散的で解釈可能な単語の意味を誘導する、微分可能でアテンションベースのモデル、Gumbel Attention for Sense Induction (gasi) を提案する。従来の手法とは異なり、gasiは優れた単語類似度スコアを達成するとともに、より一貫性があり人間が解釈可能な意味表現を生成する。これは、新しい人間中心の整合性評価によって裏付けられている。

ABSTRACT

Methods for learning word sense embeddings represent a single word with multiple sense-specific vectors. These methods should not only produce interpretable sense embeddings, but should also learn how to select which sense to use in a given context. We propose an unsupervised model that learns sense embeddings using a modified Gumbel softmax function, which allows for differentiable discrete sense selection. Our model produces sense embeddings that are competitive (and sometimes state of the art) on multiple similarity based downstream evaluations. However, performance on these downstream evaluations tasks does not correlate with interpretability of sense embeddings, as we discover through an interpretability comparison with competing multi-sense embeddings. While many previous approaches perform well on downstream evaluations, they do not produce interpretable embeddings and learn duplicated sense groups; our method achieves the best of both worlds.

研究の動機と目的

• コンピュータ中心の評価と人間の解釈可能性のギャップを解消すること。
• 意味表現が人間の語義理解をどの程度支援するかを測る新しい評価指標を開発すること。
• 下流NLPのパフォーマンスだけでなく、人間ユーザーの視点に立った解釈可能性と整合性を最優先に据えたモデルを設計すること。
• より単純な離散的意味誘導モデルが、人間を含む言語的タスクにおいて、より複雑な文脈依存モデルを上回ることを示すこと。
• 意味誘導を人間が使える意味インベントリに一致させるようにすることで、表現学習と語彙的意味論の乖離を是正すること。

提案手法

• 各単語の文脈埋め込み C と意味埋め込み S を同時に学習するため、Word2Vecに類似した目的関数を用いる。
• 温度スケーリングを施したGumbel-Softmaxを用いて、K個の候補意味から微分可能に離散的意味をサンプリングする。
• 局所的な文脈に基づいて最も関連性の高い意味を選択するアテンション機構を採用し、ハードで解釈可能な意味割り当てを可能にする。
• コサイン距離のしきい値を用いたプルーニング戦略を導入し、重複または類似した意味を削除する。
• すべての可能な意味について周辺語の尤度を周辺化した目的関数を最適化してモデルを学習する。
• 離散的Gumbel-Softmaxアプローチの有効性を検証するためのステップとして、ソフトアテンションベースライン（sasi）を用いる。

実験結果

リサーチクエスチョン

• RQ1 微分可能で離散的な意味誘導モデルは、既存のモデルよりも人間にとってより解釈可能な意味表現を生成できるか？
• RQ2 コンピュータ中心の評価（例：単語類似度）と人間中心の意味の解釈可能性の間にはどの程度相関があるか？
• RQ3 より単純で離散的意味選択を採用するアテンションベースのモデルは、人間を含む言語的タスクにおいて、より複雑なエンドツーエンドの文脈依存モデルを上回るか？
• RQ4 温度スケーリングを施したGumbel-Softmaxを用いることで、誘導された意味の整合性と明確さはどの程度向上するか？
• RQ5 どのようにすれば意味誘導モデルを、意味インベントリ構築や意味的変化分析といった言語的タスクに適応させられるか？

主な発見

• 提案された整合性評価により、既存の多意味埋め込みモデルがコンピュータ中心の性能では優れているものの、人間が解釈可能な意味表現を生成できていないことが明らかになった。
• gasiは文脈依存および非文脈依存の両方の単語類似度ベンチマークで競争力のあるパフォーマンスを達成し、解釈可能性において既存モデルを上回った。
• 新しい人間中心の整合性指標による測定において、gasiは既存手法よりもより明確で整合性のある意味表現を生成した。
• モデルが微分可能なGumbel-Softmaxを用いることで、完全に微分可能な学習を維持しながらも、ハードで離散的な意味選択が可能になり、解釈性が向上した。
• 意味埋め込み間のコサイン距離に基づくプルーニング戦略は、重複または類似した意味を効果的に削除し、意味の明確さを向上させた。
• 今後の意味誘導は、純粋に自動評価指標に依存するのではなく、人間中心のタスク固有の指標に従うべきであるという示唆が得られた。