[論文レビュー] A Linear Dynamical System Model for Text

David Belanger, Sham M. Kakade|arXiv (Cornell University)|Feb 13, 2015

Topic Modeling参考文献 33被引用数 11

ひとこと要約

本論文は、カルマンフィルタを用いて効率的な事後分布推論を実現する線形動的システム（LDS）モデルを提案する。共起度数を用いたモーメント法とEMによる学習により、自然言語処理タグ付けタスクで最先端の性能を達成し、非線形RNN言語モデルの有効な初期化を可能にした。これにより、Penn Treebankにおけるパープレキシティが低下し、学習時間を1日短縮した。

ABSTRACT

Low dimensional representations of words allow accurate NLP models to be trained on limited annotated data. While most representations ignore words' local context, a natural way to induce context-dependent representations is to perform inference in a probabilistic latent-variable sequence model. Given the recent success of continuous vector space word representations, we provide such an inference procedure for continuous states, where words' representations are given by the posterior mean of a linear dynamical system. Here, efficient inference can be performed using Kalman filtering. Our learning algorithm is extremely scalable, operating on simple cooccurrence counts for both parameter initialization using the method of moments and subsequent iterations of EM. In our experiments, we employ our inferred word embeddings as features in standard tagging tasks, obtaining significant accuracy improvements. Finally, the Kalman filter updates can be seen as a linear recurrent neural network. We demonstrate that using the parameters of our model to initialize a non-linear recurrent neural network language model reduces its training time by a day and yields lower perplexity.

研究の動機と目的

• 静的単語表現を超えて、文脈依存の単語トークン埋め込みを生成するスケーラブルで確率的シーケンスモデルの開発。
• カルマンフィルタと近似2次モーメント統計（ASOS）を用いて、大規模テキスト上で効率的な推論と学習を実現。
• 品詞（POS）や命名エンティティ認識（NER）タグ付けなどの下流NLPタスクにおける性能向上を、文脈に敏感な埋め込みを活用することで実現。
• 非線形RNN言語モデルの初期化にLDSパラメータを効果的に用いることの可能性を検討し、学習時間を短縮し、モデル性能を向上させる。

提案手法

• 単語シーケンスを連続的な隠れ状態を持つガウス型線形動的システム（LDS）としてモデル化し、各単語トークンは1-of-K符号化されたベクトルで表現される。
• カルマンフィルタを用いて隠れ状態の事後分布の平均を効率的に計算することで、文脈依存の単語埋め込みを生成する。
• 2段階の学習手順を採用：共起行列の特異値分解（SVD）を用いたモーメント法によるLDSパラメータの初期化、その後ASOSを用いたEMによる精練。
• 集約された共起度数を用いることで、1回のスキャンで済ませられるため、コーパスサイズに依存しないスケーラブルな学習手順を実現。
• カルマンフィルタの更新と線形RNNの間の機能的同等性を活用し、LDSパラメータを非線形RNNの初期化に用いる。
• カルマンスムージングを適用することで、従来のRNNとは異なり、左・右両方の文脈に依存する文脈認識表現を実現。

実験結果

リサーチクエスチョン

• RQ1 線形動的システムモデルは、文法的・意味的構造を捉える文脈依存の単語トークン埋め込みを効果的に生成できるか？
• RQ2 提案されたLDSベースの推論と学習手順は、大規模コーパスに対しても効率的にスケーリング可能であり、高品質な表現を維持できるか？
• RQ3 LDSから得られる埋め込みは、POSやNERなどの下流タグ付けタスクで、静的単語埋め込み（例：Word2Vec）を上回る性能を示せるか？
• RQ4 LDSパラメータは非線形RNN言語モデルの初期化にどの程度効果的に機能するか？学習速度の向上とモデル性能の改善が見られるか？

主な発見

• 文脈依存の埋め込みを用いた場合、品詞タグ付けでWord2Vecと比較して相対誤差を30%削減した。
• NERタスクでは、語彙的タガーラーに追加特徴として使用した場合、Word2Vecと同等またはわずかに優れた性能を示し、テストF1スコア89.9%を達成した。
• LDSパラメータで初期化されたRNN言語モデルは、17エポックではなく12エポックで収束し、単一CPUコアで約1日分の学習時間を短縮した。
• LDS初期化RNNは、ベースライン（124.0）よりも低いパープレキシティ（122.8）を達成し、モデル品質の向上を示した。
• EMによる精錬なしにモーメント法（SSID）での初期化のみを用いた場合、性能向上が見られず、EMによる精錬が効果的な初期化に不可欠であることが示された。
• カルマンフィルタの更新と線形RNNの間の機能的類似性から、LDSは深層シーケンスモデルの初期化に原理的かつスケーラブルな代替手段を提供する可能性を示している。