[論文レビュー] Gibbs Max-margin Topic Models with Data Augmentation

Jun Zhu, Ning Chen+2 more|arXiv (Cornell University)|Oct 10, 2013

Text and Document Classification Technologies参考文献 52被引用数 74

ひとこと要約

本稿では、計算的に高価なSVMの部分問題を解く必要を回避するために、データ拡張と畝み込みギブスサンプリングを用いる、Gibbs MedLDAと呼ばれる新しい最大マージン教師ありトピックモデルを提案する。ディリクレ事前分布と拡張変数の解析的統合を通じて期待マージン損失を最小化することにより、従来の最大マージントピックモデルと比較して、より高速な推論と優れた分類精度を達成する。

ABSTRACT

Max-margin learning is a powerful approach to building classifiers and structured output predictors. Recent work on max-margin supervised topic models has successfully integrated it with Bayesian topic models to discover discriminative latent semantic structures and make accurate predictions for unseen testing data. However, the resulting learning problems are usually hard to solve because of the non-smoothness of the margin loss. Existing approaches to building max-margin supervised topic models rely on an iterative procedure to solve multiple latent SVM subproblems with additional mean-field assumptions on the desired posterior distributions. This paper presents an alternative approach by defining a new max-margin loss. Namely, we present Gibbs max-margin supervised topic models, a latent variable Gibbs classifier to discover hidden topic representations for various tasks, including classification, regression and multi-task learning. Gibbs max-margin supervised topic models minimize an expected margin loss, which is an upper bound of the existing margin loss derived from an expected prediction rule. By introducing augmented variables and integrating out the Dirichlet variables analytically by conjugacy, we develop simple Gibbs sampling algorithms with no restricting assumptions and no need to solve SVM subproblems. Furthermore, each step of the "augment-and-collapse" Gibbs sampling algorithms has an analytical conditional distribution, from which samples can be easily drawn. Experimental results demonstrate significant improvements on time efficiency. The classification performance is also significantly improved over competitors on binary, multi-class and multi-label classification tasks.

研究の動機と目的

• 反復的なSVM部分問題の解法に依存する従来の最大マージン教師ありトピックモデルの計算非効率性を解消すること。
• 事後分布に対する制限的な平均場仮定を課さずに、最大マージントピックモデルのスケーラブルな推論手法を開発すること。
• 分類、回帰、マルチタスク学習タスクにおける時間効率と予測精度を向上させること。
• 各ドキュメントごとの局所的拡張変数を活用して、効率的な並列化を可能にすること。
• 二値分類を超えた最大マージン潜在変数モデルへのデータ拡張技術の一般化を図ること。

提案手法

• 期待予測ルールからの標準的なマージン損失の上界として機能する、新しい期待マージン損失関数を提案する。
• 拡張変数を導入することで、最大マージン学習問題をギブスサンプリングに適したベイジアン推論フレームワークに再定式化する。
• 共役性を用いてディリクレハイパーパrameterを解析的に統合することで、畝み込みギブスサンプリングを実装し、閉形式の条件付き分布を可能にする。
• トピック割り当ておよび予測モデル重みのための効率的なサンプリングステップを導出する。各ステップは解析的条件付き分布を持つ。
• 「拡張して畝み込む」戦略を適用することで、各イテレーションで制約付きSVM部分問題を解く必要がなくなる。
• マージン損失およびサンプリング手順の一般化を通じて、回帰およびマルチタスク学習へのフレームワークの拡張を実現する。

実験結果

リサーチクエスチョン

• RQ1 データ拡張に基づくアプローチは、最大マージントピックモデルにおける反復的SVM部分問題の解法の必要性を排除できるか？
• RQ2 ギブスサンプリングによる期待マージン損失の最小化は、従来の手法と比較してより高速な推論とより優れた一般化性能をもたらすか？
• RQ3 提案手法は、分類タスクにおいて計算コストを顕著に削減しながらも、高い予測精度を維持できるか？
• RQ4 Gibbs MedLDAの性能は、マルチクラスおよびマルチラベル分類において、最先端の最大マージントピックモデルと比較してどうか？
• RQ5 同じサンプリング効率を維持したまま、このフレームワークは回帰およびマルチタスク学習へ自然に拡張可能か？

主な発見

• 提案されたGibbs MedLDA手法は、特に大規模な設定において、従来の最大マージントピックモデルと比較して顕著な時間効率の向上を達成する。
• 二値分類、マルチクラス分類、マルチラベル分類タスクにおける分類性能は、MedLDAや他の最大マージンモデルを含む競合手法を大きく上回る。
• 畝み込みギブスサンプリングアルゴリズムは高速に収束し、各イテレーションで潜在SVM部分問題を解く計算ボトルネックを回避する。
• 各サンプリングステップが閉形式の条件付き分布を持つため、変分近似を用いずに効率的かつスケーラブルな推論が可能になる。
• 回帰およびマルチタスク学習へも良好に一般化され、標準的な分類タスクを超えた柔軟性を示す。
• コードは公開されており、最大マージン潜在変数モデル分野における再現性およびさらなる開発を支援する。