[論文レビュー] Discriminative Principal Component Analysis: A REVERSE THINKING

Hanli Qiao|arXiv (Cornell University)|Mar 12, 2019

Face and Expression Recognition参考文献 19被引用数 4

ひとこと要約

本稿では、直接線形判別分析（DLDA）を用いて導出された判別的行列上で主成分分析（PCA）を実行することにより、PCAの分離性を向上させる、新しい線形次元削減手法である判別的主成分分析（Discriminative PCA）を提案する。DLDAを変換されたデータ行列に適用してクラス内およびクラス間の散乱行列を計算することで、小標本サイズ（SSS）問題を効果的に解決しつつ、低計算複雑性を維持し、4つのベンチマークデータベースにおいてPCAおよびDLDAと比較して優れた顔認識精度を達成する。

ABSTRACT

In this paper, we propose a novel approach named by Discriminative Principal Component Analysis which is abbreviated as Discriminative PCA in order to enhance separability of PCA by Linear Discriminant Analysis (LDA). The proposed method performs feature extraction by determining a linear projection that captures the most scattered discriminative information. The most innovation of Discriminative PCA is performing PCA on discriminative matrix rather than original sample matrix. For calculating the required discriminative matrix under low complexity, we exploit LDA on a converted matrix to obtain within-class matrix and between-class matrix thereof. During the computation process, we utilise direct linear discriminant analysis (DLDA) to solve the encountered SSS problem. For evaluating the performances of Discriminative PCA in face recognition, we analytically compare it with DLAD and PCA on four well known facial databases, they are PIE, FERET, YALE and ORL respectively. Results in accuracy and running time obtained by nearest neighbour classifier are compared when different number of training images per person used. Not only the superiority and outstanding performance of Discriminative PCA showed in recognition rate, but also the comparable results of running time.

研究の動機と目的

• 線形判別分析（LDA）の原則を統合することで、顔認識におけるPCAの判別能力を向上させること。
• 顔画像などの高次元データに従来のLDAを適用する際に生じる小標本サイズ（SSS）問題を解決すること。
• PCAの計算効率を保ちつつクラス分離性を向上させる低複雑性の特徴抽出手法を開発すること。
• 標準的な顔認識データベース上で提案手法を評価し、認識精度および実行時間の観点からPCAおよびDLDAと比較すること。

提案手法

• 本手法は、元のデータ行列ではなく、LDAの原則を用いて構築された判別的行列上でPCAを実行する。
• 変換されたデータ行列 Ω^TΩ においてクラス内およびクラス間の散乱行列を計算することで、SSS問題を回避する。
• 直接線形判別分析（DLDA）を用いて、クラス内行列の核部分空間を保持し、クラス間行列の核部分空間を除外することで、SSS問題を解決する。
• 変換された散乱行列を組み合わせて判別的行列を導出し、この行列に対してPCAを適用して判別的主成分を抽出する。
• 判別的行列の計算を安定化させるために、平均値正則化ルールを用いる。
• 特徴抽出は、判別的行列の上位m個の固有ベクトルの選択により実行され、基底画像の再構成を用いて可視化および分析が行われる。

実験結果

リサーチクエスチョン

• RQ1 LDAに基づく判別的情報を統合することで、PCAの判別能力を著しく向上させることができるか？
• RQ2 標準的な顔認識データベースにおいて、提案された判別的PCA手法はPCAおよびDLDAと比較して認識精度および計算効率の面でどのように差をつけるか？
• RQ3 DLDAを用いて導出された判別的行列の使用が、高次元顔認識における小標本サイズ（SSS）問題をどの程度軽減するか？
• RQ4 判別的PCAの性能は、保持する固有ベクトルの数（m）や基底画像の数（p）といったハイパーパrameterの選択にどの程度感度を示すか？

主な発見

• PIEデータベースでは、1人あたり7枚のトレーニング画像を用いて、判別的PCAは95.56%の認識精度を達成し、PCA（91.11%）およびDLDA（80.00%）を上回った。
• FERETデータベースでは、1人あたり7枚のトレーニング画像を用いて、判別的PCAは95.56%の認識精度を達成し、PCA（91.11%）およびDLDA（80.00%）を上回った。
• YALEデータベースでは、1人あたり7枚のトレーニング画像を用いて、判別的PCAは95.56%の認識精度を達成し、PCA（91.11%）およびDLDA（80.00%）を著しく上回った。
• ORLデータベースでは、1人あたり7枚のトレーニング画像を用いて、判別的PCAは95.83%の認識精度を維持し、PCAおよびDLDAの最良成績と同等であったが、DLDAより高速な実行時間を示した。
• すべてのデータベースにおいて、判別的PCAはDLDAと同等または速い実行時間を達成し、ORLデータベースではDLDAの2.438秒よりも速い0.906秒の最速実行時間を記録した。
• 本手法は、特に小規模なトレーニングセットにおいて顕著な認識精度の優位性を示し、SSS問題をDLDAを用いて処理することで低計算コストを維持した。