[論文レビュー] A Coefficient of Determination for Probabilistic Topic Models

Tommy Jones|arXiv (Cornell University)|Nov 20, 2019

Computational and Text Analysis Methods参考文献 16被引用数 9

ひとこと要約

本稿では、観測された単語頻度とモデルが予測する頻度を比較することで、確率的トピックモデルに対する新たな決定係数（$R^2$）を提案する。この手法は、全期待値の法則を用いて導出されるモデル下での期待単語頻度に依存しており、$R^2$ が異なる文脈間で一貫性があり、解釈可能なトピックモデルの適合度評価指標であることを示している。

ABSTRACT

This research proposes a new (old) metric for evaluating goodness of fit in topic models, the coefficient of determination, or $R^2$. Within the context of topic modeling, $R^2$ has the same interpretation that it does when used in a broader class of statistical models. Reporting $R^2$ with topic models addresses two current problems in topic modeling: a lack of standard cross-contextual evaluation metrics for topic modeling and ease of communication with lay audiences. The author proposes that $R^2$ should be reported as a standard metric when constructing topic models.

研究の動機と目的

• トピックモデルのための標準的で文脈を超えた評価指標の不足に対処すること。
• 広く理解された統計的指標を採用することで、非専門家向けのトピックモデル性能の説明を改善すること。
• 広く一般的な統計的モデリングと整合性を持たせる形で、トピックモデルにおける適合度の解釈を形式化すること。
• 観測された頻度と期待される頻度の比較により、モデルのインサンプル適合度を原理的かつ明確に評価する方法を提供すること。
• トピックモデリング研究および実務における$R^2$を推奨される標準指標として確立すること。

提案手法

• 本手法は、全期待値の法則を用いて、潜在的なトピック割り当てと単語-トピック分布を考慮した文書内の期待単語頻度を導出する。
• 文書-語項行列$\mathbf{W}$を文書-トピック割合$\boldsymbol{\Theta}$とトピック-語分布$\boldsymbol{\Phi}$の積としてモデル化し、$\boldsymbol{\theta}_d$と$\boldsymbol{\phi}_k$の独立性を仮定して期待値を計算する。
• 期待単語頻度がディリクレ事前分布パラメータ$\boldsymbol{\beta}$に比例することを示し、モデルパラメータと期待語頻度の間の直接的な関係を確立する。
• $R^2$指標は、観測頻度とモデルの期待頻度を比較することで計算され、標準的な統計的定義$R^2 = 1 - \frac{\text{SS}_{\text{res}}}{\text{SS}_{\text{tot}}}$に従う。
• 期待値の解析的計算を可能にするために、$\boldsymbol{\theta}_d$と$\boldsymbol{\phi}_k$の独立性を仮定する。
• 生成的プロセスに基づくアプローチであり、単語頻度はトピック固有の分布からの多項分布的抽出としてモデル化される。

実験結果

リサーチクエスチョン

• RQ1 $R^2$は、確率的トピックモデルに対して適合度指標として意味的に適切に適用可能か？
• RQ2 提案された$R^2$指標は、トピックモデルの評価を一貫的かつ文脈を超えて可能にするか？
• RQ3 文書内の期待単語頻度は、特に$\boldsymbol{\beta}$に関して、モデルのパラメータとどのように関係するか？
• RQ4 $R^2$は、非専門家向けのトピックモデル性能の解釈性と説明性を向上させることができるか？
• RQ5 潜在変数と階層的事前分布を含むモデルにおいて$R^2$を用いる理論的根拠は何か？

主な発見

• トピックモデル下での文書の期待単語頻度は、ディリクレ事前分布パラメータ$\boldsymbol{\beta}$に比例しており、モデルの事前分布と期待語頻度の間の直接的な関係を示している。
• 文書-語項行列$\mathbb{E}(\mathbf{W})$の期待値は、$\mathbb{E}(n_d) \cdot \boldsymbol{\theta}_d \cdot \boldsymbol{\Phi}$として導出され、全期待値の法則を用いて期待値が計算される。
• $\boldsymbol{\theta}_d$と$\boldsymbol{\phi}_k$の独立性を仮定すると、$\mathbf{w}_d$の期待値は$n_d \cdot \boldsymbol{\beta} / \sum_v \beta_v$に簡略化され、$\boldsymbol{\beta}$に比例することが示される。
• 導出結果により、モデルの期待出力が事前分布パラメータ$\boldsymbol{\alpha}$と$\boldsymbol{\beta}$によって決定されることを確認し、$\mathbb{E}(\theta_{d,k}) = \alpha_k / \sum_k \alpha_k$および$\mathbb{E}(\phi_{k,v}) = \beta_v / \sum_v \beta_v$が成り立つ。
• $R^2$指標は、観測頻度とモデルの期待頻度を比較することで、妥当な適合度指標として形式的に正当化される。
• 本稿は、解釈性と広く一般的な統計的実践との整合性を考慮し、$R^2$をトピックモデリング分野で報告すべき標準指標とするべきであると結論づける。