[論文レビュー] Supervised Topic Models

David M. Blei, Jon McAuliffe|arXiv (Cornell University)|Mar 3, 2010

Bayesian Methods and Mixture Models参考文献 26被引用数 1,316

ひとこと要約

この論文は、予測性能を向上させるために文書の単語と応答変数を同時にモデル化する教師あり潜在ディリクレ配分（sLDA）を導入する。変分インファレンスとEM最適化を用いて応答変数をトピックモデリング枠組みに統合することで、sLDAは、映画評価や米国上院の修正案のトーン予測といった実世界のタスクにおいて、非教師ありLDAに続く回帰やラッソ回帰よりも優れた性能を発揮する。

ABSTRACT

We introduce supervised latent Dirichlet allocation (sLDA), a statistical model of labelled documents. The model accommodates a variety of response types. We derive an approximate maximum-likelihood procedure for parameter estimation, which relies on variational methods to handle intractable posterior expectations. Prediction problems motivate this research: we use the fitted model to predict response values for new documents. We test sLDA on two real-world problems: movie ratings predicted from reviews, and the political tone of amendments in the U.S. Senate based on the amendment text. We illustrate the benefits of sLDA versus modern regularized regression, as well as versus an unsupervised LDA analysis followed by a separate regression.

研究の動機と目的

• 文書のテキストと応答変数を同時にモデル化する統計的モデルを開発し、テキスト解析における予測性能を向上させること。
• 非教師ありLDAの予測タスクにおける限界、すなわちトピックがコロナス構造（例：ジャンル）と一致するが予測に必要な特徴（例：センチメント）と一致しない問題を解決すること。
• ラベル付き文書における予測精度を直接最適化する非教師ありトピックモデリングの教師あり代替手法を提供すること。
• 応答変数をトピックモデリングに組み込むことで、非教師ありトピックや正則化回帰による標準的な特徴工学よりも優れた予測性能が得られることを示すこと。
• 記述的分析を超えて、多様な応答タイプを有する実世界の設定において予測モデリングに応用可能なトピックモデルの適用範囲を拡張すること。

提案手法

• 文書トピックが応答変数によって線形予測子を通じて影響を受ける生成モデルとして、教師ありLDA（sLDA）を提案する。このモデルでは、トピック割合分布における線形予測子を通じて応答変数が関与する。
• 最大尤度推定に必要な不確実な後部期待値を近似するために、変分インファレンス手順を用いる。
• Eステップで近似的な後部確率を計算し、Mステップでトピックおよび応答パラメータを更新する反復的最適化アルゴリズムとしてEMアルゴリズムを採用する。
• 指数型分布族の応答分布（ガウス分布およびポisson分布を含む）に対して、具体的なインファレンスおよび推定アルゴリズムを導出する。
• 各文書の語の分布をトピックの混合としてモデル化し、トピック割合が応答変数に条件付きに依存するようにすることで、文書-応答ペアにモデルを適用する。
• 応答固有の線形予測子をトピック割合のディリクレ事前分布に組み込み、トピック構造が予測の重要性に従って導かれるようにする。

実験結果

リサーチクエスチョン

• RQ1 予測性能を向上させるために、応答変数を統合したトピックモデルを非教師ありLDAや標準的回帰法よりも改善できるか？
• RQ2 予測に生の語頻度を特徴量として用いる場合、sLDAはラッソ回帰と比べてどうなるか？
• RQ3 予測を目的とした場合、教師ありトピックモデリングは非教師ありLDAよりも解釈可能でより予測に適したトピックを生成するか？
• RQ4 連続的な評価やカテゴリカルな政策位置といった多様な応答タイプをsLDAが効果的にモデル化できるか？
• RQ5 トピックモデリングに応答情報を統合することで、標準的な特徴工学パイプラインと比較して予測誤差をどの程度低減できるか？

主な発見

• 映画レビューのデータでは、sLDAは決定係数R²が0.432を達成し、最良のラッソモデル（0.426）をわずかに上回り、予測精度が2%向上した。
• 第109回国会上院データでは、sLDAの予測R²は0.27であり、最良のラッソモデル（0.15）と比較して80%の改善を示した。
• 第110回国会上院データでは、sLDAの予測R²は0.23であり、最良のラッソモデル（0.16）と比較して43%の改善を示した。
• sLDAは、すべてのデータセットで非教師ありLDAに続く線形回帰というベースラインを一貫して上回り、優れた予測能力を示した。
• モデルは、第109回国会において右派の医療政策修正や左派の助成金・移民政策に関連する解釈可能なトピックを同定し、実用的な解釈可能性を示した。
• sLDAは、予測精度の向上に加え、ラッソが単に予測ルールを提供するのに対し、下流の分析に利用可能な潜在的トピック構造を提供する。