[論文レビュー] Multinomial Inverse Regression for Text Analysis

Matt Taddy|arXiv (Cornell University)|Dec 9, 2010

Statistical Methods and Inference参考文献 54被引用数 4

ひとこと要約

本稿は、高次元のテキストデータにおけるセンチメント関連情報の保存を目的として、マルチノミアル逆回帰（MNIR）を導入し、ガンマラッソ推定法を用いてセンチメントに十分な次元削減を実現する。フレーズカウントをセンチメントアノテーションに対する多項分布応答としてモデル化することで、MNIRはセンチメントに特化した低次元ドキュメントスコアを抽出し、従来手法に比べて予測精度と計算効率に優れた性能を示す。

ABSTRACT

Text data, including speeches, stories, and other document forms, are often connected to sentiment variables that are of interest for research in marketing, economics, and elsewhere. It is also very high dimensional and difficult to incorporate into statistical analyses. This article introduces a straightforward framework of sentiment-preserving dimension reduction for text data. Multinomial inverse regression is introduced as a general tool for simplifying predictor sets that can be represented as draws from a multinomial distribution, and we show that logistic regression of phrase counts onto document annotations can be used to obtain low dimension document representations that are rich in sentiment information. To facilitate this modeling, a novel estimation technique is developed for multinomial logistic regression with very high-dimension response. In particular, independent Laplace priors with unknown variance are assigned to each regression coefficient, and we detail an efficient routine for maximization of the joint posterior over coefficients and their prior scale. This "gamma-lasso" scheme yields stable and effective estimation for general high-dimension logistic regression, and we argue that it will be superior to current methods in many settings. Guidelines for prior specification are provided, algorithm convergence is detailed, and estimator properties are outlined from the perspective of the literature on non-concave likelihood penalization. Related work on sentiment analysis from statistics, econometrics, and machine learning is surveyed and connected. Finally, the methods are applied in two detailed examples and we provide out-of-sample prediction studies to illustrate their effectiveness.

研究の動機と目的

• 文書レベルのフレーズカウントといった高次元テキストデータを統計モデルに組み込む際、センチメント変数が注釈されたサブセットが小さいという課題に対処すること。
• テキストをセンチメントアノテーションに対する多項分布応答としてモデル化することで、センチメント関連情報を保持する次元削減フレームワークを構築すること。
• 係数の事前分散が未知の高次元多項ロジスティック回帰に対して、新たな推定手法「ガンマラッソ」を提案すること。
• 米国議会の演説、レストランレビュー、投票率予測の3つの実世界データセットを用いたアウトオブサンプル予測研究を通じて、MNIRの有効性を示すこと。
• LDA、ラッソ、PLS、SVMといった既存手法と比較し、センチメントモデリングにおける予測精度と頑健性の向上を示すこと。

提案手法

• MNIRは、センチメントレベルごとにグループ化されたドキュメントにおけるフレーズカウントの多項分布をモデル化し、確率はセンチメント変数のロジスティックリンク関数でパrameter化する。
• 十分統計量スコア $ z_i = \boldsymbol{\varphi}' \mathbf{f}_i $ が導出され、ここで $ \mathbf{f}_i $ はフレーズカウントの頻度ベクトルである。このスコアにより $ y_i \perp\!\!\perp \mathbf{x}_i, m_i \mid z_i $ が成立し、$ z_i $ に対する単変量回帰が可能になる。
• 回帰係数にガンマラッソ事前分布を適用：未知の分散を持つ独立なラプラス事前分布を用い、階層ベイズモデルによる推定にガンマハイパーパラメータを導入する。
• 係数とその事前スケールの同時事後分布を最大化するための効率的最適化ルーチンを開発。対数尤度の下界近似を用い、$ \delta $ と $ \varphi $ の反復更新を実行する。
• 多項分布確率の逆分散に対する凸下界を用いて推定を安定化させ、係数の変化に基づく $ \delta_{jk}^\star $ の適応的更新を実施する。
• R言語の textir パッケージを用いて実装し、LDA、ラッソ、PLS、SVM、および教師ありLDAと比較。標準的な交差検証と評価指標を用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチノミアル逆回帰は、高次元テキストデータを効果的に次元削減しつつ、後続の予測に必要なセンチメント関連情報を保持できるか？
• RQ2 ガンマラッソ推定法は、既存の正則化回帰およびトピックモデリング手法と比較して、予測精度と計算効率においてどのように優れているか？
• RQ3 MNIRにおけるランダム効果の影響は、実世界のテキスト-センチメント予測タスクにおけるモデル性能と実行時間にどのような影響を与えるか？
• RQ4 MNIRは、議会演説、レストランレビュー、投票率データのアウトオブサンプル予測において、LDA、PLS、SVMと比較してどのように性能を発揮するか？
• RQ5 ガンマラッソ事前分布は、高次元多項ロジスティック回帰における推定安定性と変数選択にどの程度寄与するか？

主な発見

• 投票率予測タスクでは、MNIRが2次前方モデルを用いることでRMSEが10.7に達し、最良のベースライン（LDA）より1.5%優れており、次に速い手法より21%高速であった。
• 二大政党の投票率予測では、MNIRが線形前方モデルを用いることでRMSEが10.7に達し、最良の手法（2次モデル）と同等の性能を示し、ランダム効果付きモデルより20%高速であった。
• リーパブリカン党分類タスクでは、MNIRがロジスティック前方回帰を用いることで誤分類率が11%に達し、次に優れた手法（SVM）より35%改善され、ベースラインより15%改善した。
• レストランレーティング予測では、MNIRが比例オッズモデルを用いることでRMSEが1.08に達し、最良のベースライン（LDA）より1%優れており、ランダム効果付きモデルより15%高速であった。
• ガンマラッソ法はすべてのデータセットで安定した推定を示し、最良のMNIRモデル（s = 10⁻²）が3つのタスクすべてで最小のRMSEと誤分類率を達成した。
• MNIRフレームワークはモデル仕様に対して頑健であり、ランダム効果を除外しても性能の低下が最小限に抑えられ、実行時間を15–40%短縮した。