[論文レビュー] Improved Bayesian Logistic Supervised Topic Models with Data Augmentation

Jun Zhu, Xun Zheng+1 more|arXiv (Cornell University)|Oct 9, 2013

Advanced Text Analysis Techniques参考文献 20被引用数 8

ひとこと要約

本稿では、正則化パrameterを用いて語彙と応答変数の寄与度をバランスさせる正則化付きベイジアン論理回帰教師ありトピックモデル（gSLDA）を提案し、ポlya-ガンマデータ補完を介した効率的なギブスサンプリングアルゴリズムを導入することで、平均場仮定を不要にした正確な事後分布推論を可能にした。この手法は、並列化を活用することで分類精度と学習速度の両面で顕著な向上を達成し、標準的なsLDAや変分法を上回る性能を示した。

ABSTRACT

Supervised topic models with a logistic likelihood have two issues that potentially limit their practical use: 1) response variables are usually over-weighted by document word counts; and 2) existing variational inference methods make strict mean-field assumptions. We address these issues by: 1) introducing a regularization constant to better balance the two parts based on an optimization formulation of Bayesian inference; and 2) developing a simple Gibbs sampling algorithm by introducing auxiliary Polya-Gamma variables and collapsing out Dirichlet variables. Our augment-and-collapse sampling algorithm has analytical forms of each conditional distribution without making any restricting assumptions and can be easily parallelized. Empirical results demonstrate significant improvements on prediction performance and time efficiency.

研究の動機と目的

• 語彙カウントと応答変数のスケール差による応答変数の寄与度低下を是正する、教師ありトピックモデルにおけるモデルのアンバランスを是正すること。
• 非共役な尤度関数による非解析的であるため、論理回帰教師ありトピックモデルにおける事後分布推論の困難性を克服すること。
• 制限的な平均場変分近似を避ける、スケーラブルで効率的な推論アルゴリズムの開発。
• ポlya-ガンマ変数を用いたデータ補完と畳み込みギブスサンプリングにより、正確なベイジアン推論を可能にすること。
• 大規模なテキスト分類タスクにおいて、高い性能と並列スケーラビリティを達成すること。

提案手法

• 一般化されたベイジアン推論フレームワークに正則化パrameterを導入し、代替分類損失（応答尤度）と語彙尤度のバランスを取ること。
• ポlya-ガンマ分布を用いた補助変数を導入することで、論理尤度をスケール混合表現に再定式化し、条件付き共役性を実現すること。
• トピック、トピック割り当て、分類器パrameterを含むすべての潜在変数について、解析的に取り扱える条件付き分布を導出すること。
• トピックと混合割合のディリクレ事前分布を畳み込み、ギブスサンプリングにおける混合性の向上と次元削減を図ること。
• メトロポリス・ハスティングスステップを回避し、GraphLabを用いた効率的な並列化を可能にする畳み込みギブスサンプラーを実装すること。
• 収束性と安定性の向上のため、実際の実行においてバーンインステップを用いること。

実験結果

リサーチクエスチョン

• RQ1 教師ありトピックモデルにおいて、語彙カウントと応答変数の間のモデルアンバランスを効果的に是正する方法は何か？
• RQ2 ポlya-ガンマ変数によるデータ補完は、一般化された論理回帰教師ありトピックモデルにおいて正確で効率的なギブスサンプリングを可能にするか？
• RQ3 正則化パrameterの分類精度とモデル安定性に与える影響は何か？
• RQ4 提案されたギブスサンプリングアルゴリズムは、変分推論法と比較して性能とスケーラビリティで優れているか？
• RQ5 予測精度を損なわずに、アルゴリズムはどの程度並列化可能か？

主な発見

• 最適な正則化パrameter（二値分類ではc=25、多値分類ではc=256）を用いたgSLDAモデルは、標準的なsLDA（c=1）と比較して顕著に高いテスト精度を達成し、cの値が広い範囲にわたり安定した性能を示した。
• 20ステップのバーンインを経てモデルは最適性能に収束し、トレーニング時間はバーンインステップ数に線形に比例した。
• GraphLabを用いた並列実装により、逐次的ギブスサンプリングと比較して約2桁の速度向上が達成された。
• ディリクレ事前分布αの値（0.1から10の範囲）が異なる場合でも分類性能が安定的かつ競争力を持って維持されたことから、事前分布の指定に対して頑健であることが示された。
• ポlya-ガンマ補完を用いた提案されたギブスサンプラーは、メトロポリス・ハスティングス補正を必要とせず、平均場変分法よりも優れた混合性と推論品質を達成した。
• 実験的結果から、本手法は実世界のデータセットにおいて、予測精度と時間効率の両面で既存手法を上回ることを示した。