[論文レビュー] Stochastic Feature Mapping for PAC-Bayes Classification

Xiong Li, Tai Sing Lee+1 more|arXiv (Cornell University)|Apr 12, 2012

Bayesian Methods and Mixture Models参考文献 19被引用数 5

ひとこと要約

本稿では、MAP分類器から導出されるモデルパラメータに依存しない確率的特徴マッピングを用いて、生成モデルと判別モデルを統合する新しいPAC-Bayesフレームワークを提案する。EMに類似したアルゴリズムにより明示的なPAC-Bayesリスクバウンドを最小化することで、生成モデルと特徴マッピングの共同チューニングが可能となり、教師ありおよび半教師あり設定の両方で、一般化性能が向上した最先端の分類性能を達成する。

ABSTRACT

Probabilistic generative modeling of data distributions can potentially exploit hidden information which is useful for discriminative classification. This observation has motivated the development of approaches that couple generative and discriminative models for classification. In this paper, we propose a new approach to couple generative and discriminative models in an unified framework based on PAC-Bayes risk theory. We first derive the model-parameter-independent stochastic feature mapping from a practical MAP classifier operating on generative models. Then we construct a linear stochastic classifier equipped with the feature mapping, and derive the explicit PAC-Bayes risk bounds for such classifier for both supervised and semi-supervised learning. Minimizing the risk bound, using an EM-like iterative procedure, results in a new posterior over hidden variables (E-step) and the update rules of model parameters (M-step). The derivation of the posterior is always feasible due to the way of equipping feature mapping and the explicit form of bounding risk. The derived posterior allows the tuning of generative models and subsequently the feature mappings for better classification. The derived update rules of the model parameters are same to those of the uncoupled models as the feature mapping is model-parameter-independent. Our experiments show that the coupling between data modeling generative model and the discriminative classifier via a stochastic feature mapping in this framework leads to a general classification tool with state-of-the-art performance.

研究の動機と目的

• 生成モデルと判別分類器の間の原理的でない結合の欠如が、共同チューニングによる性能向上を制限するという問題に取り組む。
• モデルパラメータに依存しないが、生成モデルの隠れ情報を効果的に活用する特徴マッピングを構築し、安定した最適化を可能にする。
• 導出された特徴マッピングを用いて、教師ありおよび半教師あり学習の両設定において、線形確率的分類器の明示的PAC-Bayesリスクバウンドを導出する。
• 隠れ変数の事後分布とモデルパラメータを同時に更新するEMに類似した反復的手順により、エンドツーエンドの学習を可能にする。
• 統一されたリスク最小化フレームワークを通じて、生成モデルのパラメータと特徴マッピングを共同で最適化することで、最先端の分類精度を達成する。

提案手法

• 指数型指数族生成モデルに作用する実用的MAP分類器の線形形態から、モデルパラメータに依存しない確率的特徴マッピングを導出する。
• 導出された特徴マッピング上で動作するギブス（確率的）分類器を構築し、確率的意思決定を可能にする。
• 確率的分類器の明示的PAC-Bayesリスクバウンドを導出し、教師ありおよび半教師ありの両方の損失成分を統合する。
• EMに類似した反復的最適化手順を提案：Eステップでは現在のモデルパラメータを用いて隠れ変数の事後分布を計算し、Mステップではリスクバウンドの勾配降下によりモデルパラメータを更新する。
• Jensenの不等式を用いて、リスクバウンドにおける計算不能なKLダイバージェンス項の取り扱い可能な上界を導出し、効率的な最適化を可能にする。
• 最適化の過程で、隠れ変数の事後分布に関する期待値をモンテカルロサンプリングにより近似する。

実験結果

リサーチクエスチョン

• RQ1 MAP分類器から導出される確率的特徴マッピングをモデルパラメータに依存させず、判別分類器と安定した共同最適化が可能になるか？
• RQ2 このような特徴マッピングを用いて、教師ありおよび半教師あり両設定における線形確率的分類器の明示的PAC-Bayesリスクバウンドを導出できるか？
• RQ3 提案されたEMに類似した最適化手順により、分離されたモデルと比較して分類性能が向上するか？
• RQ4 生成モデルの隠れ情報を活用しつつ、計算の実行可能性を維持できるか、フレームワークが最先端の性能を達成できるか？
• RQ5 確率的特徴マッピングを介した生成モデリングと判別分類の結合が、データが少ない状況における一般化にどのように影響するか？

主な発見

• 提案フレームワークは、複数のベンチマークデータセットで最先端の分類性能を達成し、従来のハイブリッドモデルおよび分離モデルを上回った。
• 確率的特徴マッピングにより、変動長のシーケンスなど構造的データの隠れ変数を効果的に活用でき、特徴表現が向上した。
• 半教師あり学習の実験では、ラベル付き例が僅かでも一貫した性能向上を示し、データ効率性の高さを実証した。
• リスクバウンドと特徴マッピングの構造のおかげで、隠れ変数の事後分布は常に計算可能である。
• モデルパラメータの更新ルールは、特徴マッピングがモデルパラメータに依存しないため、分離モデルと同一で単純なままである。
• PAC-Bayes理論に基づき、生成学習と判別学習を効果的に結合し、統一された目的関数を通じて両成分の共同チューニングを可能にした。