[論文レビュー] Nuclear Norm based Matrix Regression with Applications to Face Recognition with Occlusion and Illumination Changes

Jian Yang, Jianjun Qian+3 more|arXiv (Cornell University)|May 6, 2014

Face and Expression Recognition参考文献 37被引用数 15

ひとこと要約

本稿では、照合と照明変動にさらされた顔認識の性能を向上させるために、表現誤差画像の核ノルムを活用する2次元行列回帰モデルであるNuclear Norm based Matrix Regression (NMR) を提案する。誤差を低ランク行列としてモデル化し、交替方向乗数法（ADMM）を用いることで、4つの主要な顔認識データベースにおいて、従来の回帰ベースの手法を上回る性能を発揮し、構造的ノイズや照明変化に対して優れたロバスト性を示す。

ABSTRACT

Recently regression analysis becomes a popular tool for face recognition. The existing regression methods all use the one-dimensional pixel-based error model, which characterizes the representation error pixel by pixel individually and thus neglects the whole structure of the error image. We observe that occlusion and illumination changes generally lead to a low-rank error image. To make use of this low-rank structural information, this paper presents a two-dimensional image matrix based error model, i.e. matrix regression, for face representation and classification. Our model uses the minimal nuclear norm of representation error image as a criterion, and the alternating direction method of multipliers method to calculate the regression coefficients. Compared with the current regression methods, the proposed Nuclear Norm based Matrix Regression (NMR) model is more robust for alleviating the effect of illumination, and more intuitive and powerful for removing the structural noise caused by occlusion. We experiment using four popular face image databases, the Extended Yale B database, the AR database, the Multi-PIE and the FRGC database. Experimental results demonstrate the performance advantage of NMR over the state-of-the-art regression based face recognition methods.

研究の動機と目的

• 照合や照明変動の下で、1次元ピクセルベースの誤差モデルに起因する限界を解消すること。
• 照合や照明変動によって生じる誤差画像の低ランク構造を活用すること。
• 誤差表現における空間構造を保持する2次元行列ベースの回帰モデルを開発すること。
• 構造的ノイズに対するロバスト性を高め、困難な顔認識シナリオにおける分類精度を向上させること。

提案手法

• 表現誤差を1次元ベクトルではなく2次元画像行列としてモデル化する行列回帰フレームワークを提案する。
• 誤差行列の核ノルムを低ランク構造を促進する正則化基準として用いる。
• 最適化問題を効率的に解くために、交替方向乗数法（ADMM）を採用する。
• 核ノルム最小化を回帰フレームワークに統合し、表現係数と誤差構造を同時に学習する。
• 誤差画像を全体の行列として扱い、空間的一致性と構造的パターンを保持する。
• テスト画像とトレーニングクラス表現との間の残差行列の核ノルムを最小化することで、顔認識にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 空間構造を保持する行列ベースの誤差モデルは、従来のピクセル単位の回帰と比較して、照合や照明変動下の顔認識で優れた性能を発揮できるか？
• RQ2 誤差画像の核ノルムを最小化することで、照合や照明変動に起因する構造的ノイズを効果的に捉え、抑制できるか？
• RQ3 ベンチマークデータベース上で、提案されたNMRモデルは最先端の回帰ベース顔認識手法と比較してどの程度の性能を示すか？
• RQ4 実世界の顔認識シナリオにおける汚損要因を伴う状況でも、誤差画像の低ランク仮定はどの程度成立するか？
• RQ5 核ノルム正則化を施した行列回帰は、計算効率を維持したままロバスト性を向上させることができるか？

主な発見

• Extended Yale Bデータセットにおいて、NMRは極めて厳しい照明変動下でも、従来手法を上回る優れた認識精度を達成した。
• 照合を伴うARデータセットにおいて、NMRは顕著なロバスト性を示し、ベースラインの回帰モデルと比較して誤差率を低減した。
• Multi-PIEおよびFRGCデータセットにおいても、一貫した性能向上が確認され、多様な照明条件やアングルにわたる一般化性能が裏付けられた。
• 核ノルム正則化の導入により、低ランク誤差構造が効果的に捉えられ、ピクセル単位のL2やL1モデルと比較してノイズ抑制効果が顕著に向上した。
• 実験結果から、誤差をベクトルではなく行列としてモデル化することで、空間的一致性が保持され、認識のロバスト性が向上することが確認された。
• ADMMに基づく最適化は安定的かつ効率的に収束し、大規模な顔認識タスクへの実用的導入を可能にした。