[論文レビュー] Learning Word Representations with Hierarchical Sparse Coding

Dani Yogatama, Manaal Faruqui+2 more|arXiv (Cornell University)|Jun 8, 2014

Topic Modeling参考文献 12被引用数 33

ひとこと要約

本稿では、語彙的意味論および認知科学にインspiredされ、粗いから細かい意味的組織を反映する語表現を学習するため、グループlasso正則化を施した階層的スパースコーディングを提案する。この手法は、10億トークン規模のコーパスを効率的に学習できる確率的近接アルゴリズムを用い、語の類似度、類推、文の完成、感情分析のタスクで最先端または競争力のある性能を達成しており、モデルは http://www.ark.cs.cmu.edu/dyogatam/wordvecs/ で公開されている。

ABSTRACT

We propose a new method for learning word representations using hierarchical regularization in sparse coding inspired by the linguistic study of word meanings. We show an efficient learning algorithm based on stochastic proximal methods that is significantly faster than previous approaches, making it possible to perform hierarchical sparse coding on a corpus of billions of word tokens. Experiments on various benchmark tasks---word similarity ranking, analogies, sentence completion, and sentiment analysis---demonstrate that the method outperforms or is competitive with state-of-the-art methods. Our word representations are available at \url{http://www.ark.cs.cmu.edu/dyogatam/wordvecs/}.

研究の動機と目的

• 階層的な意味的構造を符号化するスケーラブルな語表現学習手法の開発。
• 構造的正則化による潜在次元の粗いから細かい組織化を強制することで、語表現の質を向上。
• 確率的最適化を用いて大規模コーパス（10億トークン以上）での効率的学習を可能に。
• 複数のNLPベンチマークタスクで最先端または競争力のある性能を示す。
• 公開利用および再現可能性を目的として、学習済み語ベクトルを公開する。

提案手法

• 語と文脈の共起行列を辞書Dとコード行列Aに分解するスパースコーディングを用いる。
• Aにフォレスト構造のグループlasso正則化を適用し、上位の潜在次元が下位のものより先に活性化されるように制約を課す。
• 正則化子により、階層内のノードが非ゼロであるためには、すべての祖先ノードが非ゼロでなければならないことを保証し、粗いから細い順の活性化順序を強制する。
• 非凸な目的関数を最適化するため、確率的近接法を用い、大規模でスパースなコーパスでも学習が可能になる。
• 語-文脈共起統計の入力表現として、ポイントワイズ相互情報量（PMI）を用いる。
• ミニバッチ更新のため、ADMMを用いた交互最小化を採用し、40万語の語種類および10億トークン規模のスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 スパースコーディングにおける階層的正則化は、意味的階層をモデル化することで語表現の質を向上させることができるか？
• RQ2 潜在次元における粗いから細い順の活性化順序を強制することで、下流のNLPタスクでの性能が向上するか？
• RQ3 確率的近接最適化により、階層的スパースコーディングが10億トークン規模のコーパスにスケーリング可能か？
• RQ4 標準ベンチマークで、最先端の語埋め込みモデルと比較して、本手法はどのように性能を発揮するか？
• RQ5 学習された表現は、意味的および文法的類推を効果的に捉えることができるか？

主な発見

• FORESTモデルは、M=520設定で語類似度相関が0.66を達成し、NNSE（0.05）、CBOW-HS（0.50）、SG-HS（0.57）を上回った。
• 文法的類推では、M=520で100点中48.00点を記録し、CBOW-HS（46.00点）とSG-HS（50.40点）を上回った。
• 意味的類推では、M=520で100点中41.33点を達成し、NNSE（0.57点）、CBOW-HS（8.00点）、SG-HS（31.05点）を著しく上回った。
• 文の完成タスクでは、M=520で35.86%の正答率を達成し、CBOW-HS（25.80%）とSG-HS（27.79%）を上回った。
• 感情分析では、M=520で81.90%の正答率を達成し、SG-HS（79.57%）とCBOW-HS（78.50%）を上回った。
• 確率的近接最適化を用いることで、40万語の語種類および10億トークン規模のコーパスに、効率的にスケーリング可能であり、大規模コーパスでの学習が可能になった。