[論文レビュー] Supervised Dictionary Learning by a Variational Bayesian Group Sparse Nonnegative Matrix Factorization

Ivan Ivek|arXiv (Cornell University)|May 27, 2014

Face and Expression Recognition参考文献 32被引用数 7

ひとこと要約

本稿では、ラベル駆動型の低次元特徴部分空間を学習するため、変分ベイズ群スパース非負値行列分解（NMF）を用いた教師あり辞書学習手法を提案する。クラスラベルを係数スパース性内のグループ構造としてモデル化することで、識別性能が向上し、教師なしNMFベースラインと比較して顔認識および顔の表情認識の性能が優れている。

ABSTRACT

Nonnegative matrix factorization (NMF) with group sparsity constraints is formulated as a probabilistic graphical model and, assuming some observed data have been generated by the model, a feasible variational Bayesian algorithm is derived for learning model parameters. When used in a supervised learning scenario, NMF is most often utilized as an unsupervised feature extractor followed by classification in the obtained feature subspace. Having mapped the class labels to a more general concept of groups which underlie sparsity of the coefficients, what the proposed group sparse NMF model allows is incorporating class label information to find low dimensional label-driven dictionaries which not only aim to represent the data faithfully, but are also suitable for class discrimination. Experiments performed in face recognition and facial expression recognition domains point to advantages of classification in such label-driven feature subspaces over classification in feature subspaces obtained in an unsupervised manner.

研究の動機と目的

• 分類のための特徴表現を向上させるために、クラスラベル情報を利用する教師あり辞書学習フレームワークの構築を目的とする。
• 係数行列内のラベルの背後にあるグループ構造としてクラスラベルをモデル化することで、NMFにグループスパース制約を組み込むことを目的とする。
• 確率的グラフィカルモデルフレームワーク下で、モデルパラメータのエンドツーエンド学習を可能にする変分ベイズ推論アルゴリズムを導出することを目的とする。
• ラベル駆動型の辞書が分類タスクにおいて教師なし特徴部分空間を上回ることを示すこと。
• 本手法を実世界の顔認識および顔の表情認識データセットに対して検証すること。

提案手法

• 係数スパース性内のグループ構造を符号するため、階層的事前分布を用いた確率的グラフィカルモデルとして群スパースNMFを定式化する。
• 潜在変数およびモデルパラメータの後部分布を近似するための変分ベイズ推論アルゴリズムを導入する。
• クラスラベルに対応するグループとして係数行列にグループスパース誘導事前分布を適用し、識別的特徴学習を促進する。
• クラスラベルをグループIDにマッピングすることで、ラベルに敏感な辞書学習を可能にする。
• 計算効率を確保するため、平均場近似を用いて変分パラメータの閉形式更新式を導出する。
• 各クラスグループごとにスパース性を強制する確率的フレームワークを採用し、同時に辞書原子と係数を最適化する。

実験結果

リサーチクエスチョン

• RQ1 NMFのスパース構造にクラスラベル情報を組み込むことで、分類のための特徴表現が向上するか？
• RQ2 変分ベイズ推論を用いたグループスパースNMFは、標準的な教師なしNMFと比較して、教師あり認識タスクでどのように異なるか？
• RQ3 提案手法は、低次元特徴部分空間における識別的パワーをどの程度向上させるか？
• RQ4 クラスラベルに基づくグループスパース性の使用は、よりコン act で意味のある辞書をもたらすか？
• RQ5 本手法は、さまざまな顔認識および表情認識ベンチマークにおいてどの程度頑健か？

主な発見

• 提案手法は、顔認識および顔の表情認識の両タスクにおいて、教師なしNMFよりも高い分類精度を達成した。
• 群スパースNMFを用いたラベル駆動型辞書は、クラス識別と整合した構造的スパース性のおかげで、識別能が向上した。
• 変分ベイズ推論フレームワークにより、不確実性の定量化を伴う頑健なパラメータ推定が可能となり、モデルの安定性が向上した。
• 実験により、グループスパースを介したラベル情報の統合が、よりコン act で意味のある特徴表現をもたらすことが確認された。
• 特に少数サンプルの状況下でも、分類F1スコアおよび精度の点でベースライン手法を上回った。
• 確率的定式化により、周辺尤度最適化を通じてハイパーパramータおよびモデルの複雑さを体系的かつ整合的に取り扱えるようになった。