[論文レビュー] Generalized two-dimensional linear discriminant analysis with regularization

Chun‐Na Li, Yuan‐Hai Shao+3 more|arXiv (Cornell University)|Jan 23, 2018

Face and Expression Recognition被引用数 9

ひとこと要約

本稿では、正則化を組み込んだ一般化された二次元線形判別分析（G2DLDA）を提案する。この手法は、類内および類間分散の計算に任意のLpノルム（1≤p≤2）を用い、特異性問題を克服するとともに一般化性能を向上させる。収束性を保証する反復的アルゴリズムにより解かれる。ノイズのある顔認識データベースにおいて、2DLDA や L12DLDA より優れた性能を示す。

ABSTRACT

Recent advances show that two-dimensional linear discriminant analysis (2DLDA) is a successful matrix based dimensionality reduction method. However, 2DLDA may encounter the singularity issue theoretically and the sensitivity to outliers. In this paper, a generalized Lp-norm 2DLDA framework with regularization for an arbitrary $p>0$ is proposed, named G2DLDA. There are mainly two contributions of G2DLDA: one is G2DLDA model uses an arbitrary Lp-norm to measure the between-class and within-class scatter, and hence a proper $p$ can be selected to achieve the robustness. The other one is that by introducing an extra regularization term, G2DLDA achieves better generalization performance, and solves the singularity problem. In addition, G2DLDA can be solved through a series of convex problems with equality constraint, and it has closed solution for each single problem. Its convergence can be guaranteed theoretically when $1\leq p\leq2$. Preliminary experimental results on three contaminated human face databases show the effectiveness of the proposed G2DLDA.

研究の動機と目的

• 特徴次元数に比べてサンプル数が少ない場合に生じる2次元線形判別分析（2DLDA）における特異性問題を解消する。
• モデルの複雑さを制御し、過学習を軽減するための正則化項を導入することで、一般化性能を向上させる。
• 分散計算における標準的なL2ノルムを、任意のLpノルム（p>0）に置き換えることで、外れ値に対するロバスト性を向上させる。
• 1≤p≤2の範囲で非凸なG2DLDA問題を解く収束性を保証する効率的で収束する最適化アルゴリズムを開発する。
• Lpノルムのロバスト性と正則化を統合した包括的で一般化されたフレームワークを提供し、2DLDAおよびL12DLDAを拡張する。

提案手法

• p>0を用いて類内および類間分散を測定する一般化された2DLDAモデルを提案し、pの調整により柔軟なロバスト性を制御可能にする。
• 解の安定化と特異性の防止を図るため、正則化項||W||_p^pを導入し、一般化性能を向上させる。
• サロゲート関数アプローチを用いて最適化問題を凸部分問題の系列に定式化する。
• 反復的アルゴリズムを設計し、射影行列Wと補助変数を交互に更新することで、1≤p≤2の範囲で収束を保証する。
• 各ステップで閉形式解を用いることで、計算効率と理論的収束保証を両立させる。
• 非グリーディな逐次凸近似法を用いて、Lpノルム目的関数の非凸性に対処する。

実験結果

リサーチクエスチョン

• RQ1 正則化を組み込んだ一般化Lpノルム2DLDAフレームワークは、標準2DLDAに内在する特異性問題を効果的に克服できるか？
• RQ2 Lpノルムにおけるpの選択が、外れ値およびノイズデータに対するモデルのロバスト性にどのように影響するか？
• RQ3 正則化項の導入により、テストデータにおける2DLDAの一般化性能が顕著に向上するか？
• RQ4 提案された反復的アルゴリズムは、特に1≤p≤2の範囲で広範なp値に対して収束するか？
• RQ5 一般化フレームワークは、L12DLDA や 2DLDA と比較して、さまざまなノイズ条件下で精度面で優れているか？

主な発見

• 30%のソルトアンドペッパー雑音がかかる汚染済みORLデータベースでは、p=1.5のG2DLDAが12次元に圧縮した場合に87.50%の精度を達成し、2DLDA（80.00%）およびL12DLDA（73.13%）を上回った。
• 標準偏差0.1のガウスノイズがかかるARデータベースでは、p=1.5のG2DLDAが3次元に圧縮した場合に85.67%の精度を達成し、2DLDA（81.33%）およびL12DLDA（82.33%）を上回った。
• 30%のブラックブロック遮断がかかるFERETデータベースでは、p=1のG2DLDAが3次元に圧縮した場合に33.17%の精度を達成し、2DLDA（30.67%）およびL12DLDA（23.00%）を著しく上回った。
• 最適なp値はデータセットごとに異なり、ORLではp=1.5、ARではp=1.5、FERETではp=1であった。これはp依存のロバスト性チューニングの可能性を示している。
• 正則化項は特異性を効果的に防止し、理論的に保証された通り、1≤p≤2の範囲で反復的アルゴリズムは信頼性高く収束した。
• p=1のG2DLDAは、ARデータベース（88.67%）およびFERET（10%ノイズ時で40.50%）で最高精度を記録し、強力な一般化性能とロバスト性を示した。