[論文レビュー] Prediction Focused Topic Models via Feature Selection

Jason Ren, Russell Kunes+1 more|arXiv (Cornell University)|Oct 12, 2019

Topic Modeling参考文献 13被引用数 6

ひとこと要約

本稿では、予測ターゲットに関連しない語彙項を特定・除外するための変分特徴選択を用いる予測指向型sLDA（pf-sLDA）を提案する。非予測的で頻度の高い語彙項をフィルタリングすることにより、pf-sLDAはトピックの一貫性を向上させつつ、映画レビューおよびてんかん検出を含む実世界のデータセットにおいて、既存手法を上回る予測精度を維持する。

ABSTRACT

Supervised topic models are often sought to balance prediction quality and interpretability. However, when models are (inevitably) misspecified, standard approaches rarely deliver on both. We introduce a novel approach, the prediction-focused topic model, that uses the supervisory signal to retain only vocabulary terms that improve, or at least do not hinder, prediction performance. By removing terms with irrelevant signal, the topic model is able to learn task-relevant, coherent topics. We demonstrate on several data sets that compared to existing approaches, prediction-focused topic models learn much more coherent topics while maintaining competitive predictions.

研究の動機と目的

• 教師ありトピックモデルにおけるトピックの解釈可能性と予測性能のトレードオフを解消すること。
• 予測ターゲットに関連しない語彙項を同定・除外することで、トピックの一貫性とモデル性能の低下を防ぐこと。
• 教師信号を用いて同時に予測可能なトピックを学習し、特徴選択を実行する手法を開発すること。
• pc-sLDA や sLDA などの既存の教師ありトピックモデルを、特徴の無関係性を明示的にモデル化することで改善すること。
• モデルから推定された関連性に基づく特徴選択が、相関に基づくフィルタリングを上回ることを実証すること。

提案手法

• pf-sLDAは、教師ありLDAを拡張し、各語の予測への関連性を決定する変分特徴選択子φvを導入する。
• モデルは、制約付き変分族を用いたグラフィカルモデル上で、変分推論フレームワークを用いてトピック分布βと特徴選択子φを同時に最適化する。
• 関連のない特徴からの残差信号をモデル化するための専用トピックπを導入し、βTπ = 0 を強制することで直交性を維持し、干渉を防ぐ。
• 目的関数は、データの周辺尤度とターゲットの条件付き尤度のバランスをとる。一貫性と予測のトレードオフを制御するハイパーパrameterが含まれる。
• 尤度の下界（ELBO）を最適化するために確率的勾配降下法（SGD）が用いられる。
• 特徴選択は、φv > 0.99 である語のみを保持することで実行され、予測に寄与しない語彙項が効果的に除外される。

実験結果

リサーチクエスチョン

• RQ1 予測ターゲットに関連しない特徴を明示的に同定・除外することで、教師ありトピックモデルがトピックの一貫性を向上させられるか？
• RQ2 モデルから推定された関連性に基づく特徴選択は、相関に基づくフィルタリングを上回り、トピックの一貫性と予測性能を維持できるか？
• RQ3 無関係な特徴をモデル化するための残差トピックπの導入が、トピック品質とモデル最適化に与える影響は何か？
• RQ4 pf-sLDAは、sLDA や pc-sLDA と比較して、予測精度を維持しつつ、顕著にトピックの解釈可能性を向上させられるか？
• RQ5 関連するトピックβと残差トピックπとの間の直交性を強制することで、モデルの収束性と性能にどのような影響があるか？

主な発見

• PangとLeeの映画レビューデータセットにおいて、pf-sLDAはsLDAおよびpc-sLDAよりも高いトピック一貫性と低いRMSEを達成し、トピックが明確な感情極性を示した。
• 相関に基づくフィルタリングを上回る性能を示した：φv > 0.99 で選択された語を用いたトピックは、上位N個の相関語を用いたトピックよりも一貫性が高く、予測性能に優れた。
• 「コメディ」「アクション」「プロット」などの一般的で無関係な語彙項を効果的にフィルタリングし、標準的なsLDAおよびpc-sLDAでトピックが汚染されるのを防いだ。
• 定性的な分析から、pf-sLDAのトピックは感情強度と密接に一致する回帰係数を示し、高感情トピックは明確に肯定的で、低感情トピックは明確に否定的であった。
• 残差トピックπの使用により、関連する特徴と無関係な特徴の分離が効果的に行われ、トピックの安定性と解釈可能性が向上した。
• 合成データにおいてもpf-sLDAは優れた性能を示し、無関係な語彙項が存在する状況で特徴選択がトピック回復を向上させることを確認した。