[論文レビュー] Training Restricted Boltzmann Machines on Word Observations

George E. Dahl, Ryan P. Adams+1 more|arXiv (Cornell University)|Feb 25, 2012

Topic Modeling参考文献 25被引用数 50

ひとこと要約

本稿では、語彙サイズに依存しない計算複雑性を実現するメトロポリス・ハスティングスMCMC更新を用いた、大語彙語観測における制限ボルツマンマシン（RBMs）のスケーラブルなトレーニング手法を提案する。この手法により、教師なしデータを用いない状態でLarge Movie Reviewデータセットにおいて89.23%の最先端の感情分類精度を達成し、文法的・意味的n-gram特徴の有効な学習が可能であることを示している。

ABSTRACT

The restricted Boltzmann machine (RBM) is a flexible tool for modeling complex data, however there have been significant computational difficulties in using RBMs to model high-dimensional multinomial observations. In natural language processing applications, words are naturally modeled by K-ary discrete distributions, where K is determined by the vocabulary size and can easily be in the hundreds of thousands. The conventional approach to training RBMs on word observations is limited because it requires sampling the states of K-way softmax visible units during block Gibbs updates, an operation that takes time linear in K. In this work, we address this issue by employing a more general class of Markov chain Monte Carlo operators on the visible units, yielding updates with computational complexity independent of K. We demonstrate the success of our approach by training RBMs on hundreds of millions of word n-grams using larger vocabularies than previously feasible and using the learned features to improve performance on chunking and sentiment classification tasks, achieving state-of-the-art results on the latter.

研究の動機と目的

• 語彙サイズが大きい場合に生じる線形時間のギブスサンプリングに起因する、高次元マルチノミアル語観測に対するRBMsトレーニングの計算的に非現実的な問題に対処すること。
• 語彙サイズに依存しないMCMC作用素を標準的なギブスサンプリングに代えることで、語彙数が数10万単語に達する語n-gramの効率的学習を可能にすること。
• 学習されたRBMs特徴が、下流の自然言語処理タスクにおける語やn-gramの意味的・文法的性質を的確に捉えていることを示すこと。
• 外部の自己教師付き事前学習に依存せず、ラベル付きデータのみを用いても、感情分類で最先端の性能を達成すること。

提案手法

• 語彙サイズKに依存しないO(1)の計算複雑性を達成するため、K値のsoftmax可視ユニットにおける従来のブロックギブスサンプリングを、メトロポリス・ハスティングスMCMC遷移に置き換える。
• 可視ユニット状態の上に単純な対称的提案分布を用い、全K状態の正規化を明示的に行わずとも、効率的な棄却サンプリングが可能である。
• MCMCサンプルを用いて正の段階と負の段階の期待値を近似するモンテカルロ推定に基づく確率的勾配降下法を採用する。
• 数億件のn-gramを用いて、意味的・文法的パターンを捉える分散表現を学習する語表現RBMsのトレーニングに本手法を適用する。
• 肯定的・否定的センチメント文書に特化したWRRBMsを訓練し、n-gramの自由エネルギー特徴を抽出して感情分類に用いる。
• 学習されたn-gram特徴とbag-of-words特徴を重み付き正規化で統合し、最終分類のために線形SVMを訓練する。

実験結果

リサーチクエスチョン

• RQ1 語彙サイズが非常に大きい（例：100,000語以上）語観測に対して、語彙サイズに比例する計算コストを負担せずに、RBMsを効率的にトレーニングできるか？
• RQ2 語n-gram上で学習されたRBMs特徴は、自然言語処理タスクに有用な意味的・文法的情報を的確に捉えているか？
• RQ3 RBMsベースの特徴は、教師なしデータを用いない状況でも、既存手法を上回るか、あるいは補完的に機能するか？
• RQ4 ラベル付きデータのみを用いても、RBMs由来のn-gram表現を用いて、感情分類で最先端の性能を達成できるか？

主な発見

• 提案されたメトロポリス・ハスティングスに基づくトレーニング手法により、語彙サイズに依存しない計算複雑性を実現し、大語彙トレーニングが可能になった。
• モデルは、意味的な近い語のクラスタリングが有意義に得られるなど、語やn-gramの文法的・意味的性質を的確に捉える分散表現を学習した。
• グルーピングタスクにおいて、学習された特徴は他の語表現誘導手法と同等の性能を達成した。
• Large Movie Review感情分類ベンチマークにおいて、本手法はクラス固有のWRRBMsのみを用いて87.42%の精度を達成し、より複雑なアーキテクチャや追加データを用いた先行手法を上回った。
• bag-of-words特徴と組み合わせた場合、89.23%のテスト精度を達成し、教師なしデータを一切使用しないこのベンチマークで最も高い知られている結果となった。
• これらの結果は、効率的なMCMCサンプリングによる大語彙へのスケーラブルなトレーニングが可能になったことで、RBMsベースのモデルが自然言語処理タスクにおいて極めて有効である可能性を示している。