[論文レビュー] Infinite Dimensional Word Embeddings

Eric Nalisnick, Sachin Ravi|arXiv (Cornell University)|Nov 17, 2015

Topic Modeling参考文献 17被引用数 10

ひとこと要約

本稿では、可算無限次元性を持つ単語ベクトルと文脈ベクトルのエネルギーに基づく連合分布を用いる確率的次元削減手法として、無限スキップグラム（iSG）モデルを提案する。訓練中にベクトルが動的に拡大可能となるように設計されたiSGは、パラメータ効率的で頑健な表現を生成し、解釈可能な次元分布を通じて語義の誘導を自然に可能にする。

ABSTRACT

We describe a method for learning word embeddings with stochastic dimensionality. Our Infinite Skip-Gram (iSG) model specifies an energy-based joint distribution over a word vector, a context vector, and their dimensionality. By employing the same techniques used to make the Infinite Restricted Boltzmann Machine (Cote & Larochelle, 2015) tractable, we define vector dimensionality over a countably infinite domain, allowing vectors to grow as needed during training. After training, we find that the distribution over embedding dimensionality for a given word is highly interpretable and leads to an elegant probabilistic mechanism for word sense induction. We show qualitatively and quantitatively that the iSG produces parameter-efficient representations that are robust to language's inherent ambiguity.

研究の動機と目的

• 固定次元の単語埋め込みが言語的複雑性を十分に捉えきれない問題に対処すること。
• 訓練中に個々の単語の複雑性に応じてベクトル次元を動的に拡大できる手法を開発すること。
• 埋め込み次元の分布を活用することで、語義誘導のための確率的フレームワークを構築すること。
• 可算無限次元のベクトル表現を通じて、言語の曖昧性をより効率的かつ頑健にモデル化すること。

提案手法

• iSGモデルは、単語ベクトル、文脈ベクトル、およびそれらの次元性のエネルギーに基づく連合分布を定義し、確率的次元選択を可能にする。
• 無限リソースド・ボルツマンマシン（IRBM）からの技術を拡張し、可算無限次元のドメイン上で推論を実行可能にする。
• 次元性は訓練中に学習され、複雑または曖昧な語の意味を捉えるためにベクトルが必要に応じて拡張可能となる。
• 変分推論を用いて次元性の真の事後分布を近似し、スケーラブルな訓練を実現する。
• 各単語の次元性の分布は解釈可能であり、語義の複雑さを反映している。
• 多義語に対して高い次元性が関連するため、フレームワークは語義誘導を自然にサポートする。

実験結果

リサーチクエスチョン

• RQ1 訓練中にベクトル次元を動的に調整できる単語埋め込みモデルは、言語的曖昧性をよりよく捉えることができるか？
• RQ2 埋め込み次元の分布は、語義の複雑さや多義性とどのように相関するか？
• RQ3 確率的次元削減は、パラメータ効率性と頑健性の両面で、単語表現学習にどのように寄与するか？
• RQ4 学習された次元分布は、語義誘導のための原理的で整合性のあるメカニズムとして機能するか？
• RQ5 iSGモデルは、固定次元のベースラインモデルと比較して、性能と効率性においてどの程度優れているか？

主な発見

• 各単語の埋め込み次元の分布は非常に解釈可能であり、多義語は高い有効次元性を示す傾向にある。
• モデルは、自然言語の本質的曖昧性に対して頑健なパラメータ効率的表現を生成する。
• iSGモデルは、次元割り当てを通じて、自然で洗練された語義誘導のメカニズムを実現する。
• 固定次元モデルと同等の性能を達成しながら、平均してより少ないパラメータを用いる。
• 適応的次元拡大を通じて、言語的曖昧性のモデル化において定性的・定量的に改善を示す。