[論文レビュー] Spherical Text Embedding

Meng Yu, Jiaxin Huang+5 more|arXiv (Cornell University)|Nov 4, 2019

Topic Modeling被引用数 52

ひとこと要約

この研究は二段階生成モデルとリーマン最適化を用いて単位球上で単語と段落の埋め込みを直接学習し、単語類似性と文書クラスタリングで最先端の結果を達成します。

ABSTRACT

Unsupervised text embedding has shown great power in a wide range of NLP tasks. While text embeddings are typically learned in the Euclidean space, directional similarity is often more effective in tasks such as word similarity and document clustering, which creates a gap between the training stage and usage stage of text embedding. To close this gap, we propose a spherical generative model based on which unsupervised word and paragraph embeddings are jointly learned. To learn text embeddings in the spherical space, we develop an efficient optimization algorithm with convergence guarantee based on Riemannian optimization. Our model enjoys high efficiency and achieves state-of-the-art performances on various text embedding tasks including word similarity and document clustering.

研究の動機と目的

• テキスト埋め込みのユークリッド空間での訓練と球面での使用との乖離を、球面空間で学習することで解消する。
• 球面上で二段階の生成過程により、単語と段落の埋め込みを共同学習する。
• 球面埋め込みの収束保証を持つスケーラブルな最適化アルゴリズムを開発する。
• 単語類似性、文書クラスタリング、文書分類タスクで最先端の性能を示す。

提案手法

• 単位球上の二段階生成モデルを提案する：中心となる単語は段落の意味論から生成され、次に周辺の文脈語は中心語を条件にして生成される。
• 球面上で von Mises–Fisher 分布を用いて中心-文脈および段落-語の関係を捉える事前分布をモデル化する。
• 最大マージン損失とネガティブサンプリングを用いて p(v,u|d) をネガティブサンプルに対して最適化する。
• 学習を球面上の制約付き最適化として定式化し、接空間への射影と指数写像（または再適合版）による更新を伴うリーマン確率勾配降下法を適用する。
• 球面上の方向距離としてコサイン類似度を取り入れ、単位ノルム制約を保持する更新則を導出する。

実験結果

リサーチクエスチョン

• RQ1 テキスト埋め込みを球面（方向性）空間で直接学習して訓練と使用のギャップを埋めることができるか？
• RQ2 球面生成モデルで学習した単語と段落（文書）の共同埋め込みは、類似性とクラスタリングタスクにおいてユークリッドベースの埋め込みを上回るか？
• RQ3 大規模コーパスで球面埋め込みを訓練するのに適した、スケーラブルで収束性のある最適化手法は存在するか？
• RQ4 球面空間における語-語および語-段落の共起を活用すると、クラスタリングや分類などの下流タスクを改善するか？

主な発見

• JoSE（Joint Spherical Embedding）は WordSim353、MEN、SimLex999 において ユークリッドベースラインより高い単語類似スコアを達成する。
• JoSE は 20 Newsgroups において、複数の指標で複数のベースラインより優れた文書クラスタリング性能を示す。
• JoSE は k-NN分類を伴う 20 Newsgroup と Movie Review データセットで最高の Macro-F1 および Micro-F1 を達成する。
• JoSE は Wikipedia規模のコーパスに対して、いくつかのベースラインと比較して1イテレーションあたりの訓練効率が良好であることを示す。