[論文レビュー] Probabilistic Topic and Syntax Modeling with Part-of-Speech LDA

William Darling, Fei Song|arXiv (Cornell University)|Mar 12, 2013

Natural Language Processing Techniques参考文献 37被引用数 6

ひとこと要約

この論文は、テキスト内の意味的トピックと文法的品詞を共同でモデル化する確率的生成モデルである Part-of-Speech LDA (POSLDA) を提案する。'天気についての名詞' や '法についての動詞' のような、トピックおよび品詞に特化した語の分布をモデル化することにより、POSLDA は教師なし品詞素性タグ付けを改善し、WSJ データセットで 87.7% の精度を達成し、最先端のベイジアン HMM よりも 1.5 パcent 点高い性能を発揮した。

ABSTRACT

This article presents a probabilistic generative model for text based on semantic topics and syntactic classes called Part-of-Speech LDA (POSLDA). POSLDA simultaneously uncovers short-range syntactic patterns (syntax) and long-range semantic patterns (topics) that exist in document collections. This results in word distributions that are specific to both topics (sports, education, ...) and parts-of-speech (nouns, verbs, ...). For example, multinomial distributions over words are uncovered that can be understood as "nouns about weather" or "verbs about law". We describe the model and an approximate inference algorithm and then demonstrate the quality of the learned topics both qualitatively and quantitatively. Then, we discuss an NLP application where the output of POSLDA can lead to strong improvements in quality: unsupervised part-of-speech tagging. We describe algorithms for this task that make use of POSLDA-learned distributions that result in improved performance beyond the state of the art.

研究の動機と目的

• テキスト内の意味的トピックと文法的語類の両方を捉える統一的な確率的モデルの開発。
• トピックと文法的構造の両方の語分布を活用することで、教師なし品詞素性タグ付けの改善。
• 意味的構造と文法的構造を統合することで、言語モデル化および NLP タスクのパフォーマンスが向上することの実証。
• POSLDA が構造化された言語生成や要約の基盤としての可能性を検討すること。

提案手法

• POSLDA は、各語に対してトピックと品詞を同時に割り当てるように拡張された LDA の拡張版であり、語の分布をトピックと品詞の両方に条件づけてモデル化する。
• 各語がトピックと品詞素性タグに割り当てられる共同生成プロセスを用い、語の分布はトピック-品詞の組み合わせに基づいて定義される。
• Gibbs サンプリングに基づく近似推論アルゴリズムが用いられ、タグ列の最大事後確率（MAP）推定に収束するためのシミュレーテッド・アニーリング戦略が採用されている。
• サンプリング分布は重み付き尤度を用いて更新され、$ p(z_i, c_i | m{c_{-i}}, m{z_{-i}}, m{w}) \propto p(z_i, c_i | m{c_{-i}}, \bm{z_{-i}}, \bm{w}) \times \lambda_{w,c_i} $ と表される。ここで $ \lambda_{w,c_i} $ は語に特化した品詞素性尤度を符号化している。
• ハイパーパrameter $ \alpha $, $ \gamma $, $ \beta $ は直接最適化またはサンプリングにより最適化され、実験では $ K=10 $ 個のトピックと 6 個の意味的クラスが使用された。
• モデルは、1 語あたりのタグ数 $ d $ の異なる値に対して、Wall Street Journal (WSJ) データセットを用いて精度と情報量の分散（VI）の指標で評価された。

実験結果

リサーチクエスチョン

• RQ1 トピックと品詞の共同モデリングは、学習されたトピック分布の質を向上させることができるか？
• RQ2 トピックモデリングに文法的構造を組み込むことで、教師なし品詞素性タグ付けのパフォーマンスが向上するか？
• RQ3 POSLDA は、タグ付け精度とクラスタリング品質の観点から、ベイジアン HMM (BHMM) よりも優れているか？
• RQ4 構造化された語のモデリングにより、POSLDA は標準 LDA や他の関連モデルよりも低い perplexity を達成できるか？
• RQ5 共同モデルは、言語生成における予測能力と一貫性をどの程度向上させるか？

主な発見

• POSLDA は $ d=1 $ の場合、WSJ データセットで教師なし品詞素性タグ付けにおいて 87.7% の精度を達成し、ベイジアン HMM (BHMM) よりも 1.3 パcent 点高い性能を示した。
• すべての $ d $ の値において、POSLDA は BHMM よりも高い精度を維持しており、改善幅は 1.3 から 1.5 パcent 点の範囲にのっていた。
• POSLDA は VI（情報量の分散）を BHMM よりも 0.04 から 0.08 ポints 減少させ、語のタグのクラスタリング品質が向上した。
• POSLDA は $ d=1 $ 時に VI 0.73 を達成したのに対し、BHMM は 0.77 であったため、タグ割り当ての整合性が向上した。
• 結果は $ p \ll 0.01 $ で統計的に有意であり、POSLDA の向上がランダムなばらつきによるものではないことを確認した。
• POSLDA は、文法的構造の統合のおかげで、ベースラインモデルより低い perplexity を達成しており、より優れた予測能力を示した。