[論文レビュー] Probabilistic Latent Semantic Analysis

Thomas Hofmann|arXiv (Cornell University)|Jan 23, 2013

Bayesian Modeling and Causal Inference参考文献 13被引用数 2,092

ひとこと要約

確率的潜在意味分析（PLSA）を紹介します。これは潜在クラス混合と tempered EM に基づく、二モードおよび共起データを分析する確率モデルであり、実験では標準の LSA より改善が観察されました。

ABSTRACT

Probabilistic Latent Semantic Analysis is a novel statistical technique for the analysis of two-mode and co-occurrence data, which has applications in information retrieval and filtering, natural language processing, machine learning from text, and in related areas. Compared to standard Latent Semantic Analysis which stems from linear algebra and performs a Singular Value Decomposition of co-occurrence tables, the proposed method is based on a mixture decomposition derived from a latent class model. This results in a more principled approach which has a solid foundation in statistics. In order to avoid overfitting, we propose a widely applicable generalization of maximum likelihood model fitting by tempered EM. Our approach yields substantial and consistent improvements over Latent Semantic Analysis in a number of experiments.

研究の動機と目的

• 情報検索、自然言語処理、および関連分野における共起データ分析の確率的アプローチの必要性を動機付ける。
• 潜在クラスモデルに基づく確率的潜在意味解析フレームワークを開発する。
• 最大尤度フィッティングの tempered EM 変種を用いて過学習に対処する。
• タスク全体で標準の Latent Semantic Analysis を上回る実証的改善を示す。

提案手法

• PLSA を、二モードおよび共起データの潜在クラスモデルから導かれる混合分解として定式化する。
• 最大尤度フィッティングにおける過学習を抑制するために tempered EM を適用する。
• 関連する情報検索および NLP タスクで PLSA と標準の LSA を比較し改善を示す。
• 潜在意味解析の原理的な確率的基盤を提供し、線形代数ベースの SVD と対比する。
• 関連分野全体へのアプローチの一般的適用性について議論する。

実験結果

リサーチクエスチョン

• RQ1 確率的潜在クラス定式化は、標準の LSA よりも共起データの分析を改善できるか？
• RQ2 tempered EM は過学習を減らし、PLSA でより頑健なパラメータ推定を生み出すか？
• RQ3 どのタスクと設定で PLSA が従来の LSA を上回るか？
• RQ4 情報検索および NLP アプリケーションに対する確率的アプローチの実証的影響は何か？

主な発見

• PLSA は、潜在クラスモデルに基づく潜在意味解析の原理的な確率的フレームワークを提供する。
• Tempered EM は最大尤度フィットを一般化し過学習を防ぐことを提案している。
• 実証的な実験により、複数の設定で PL SA が標準の LSA を大幅かつ一貫して改善することを示している。