[論文レビュー] Kernel principal component analysis network for image classification

Dan Wu, Jiasong Wu+4 more|arXiv (Cornell University)|Dec 20, 2015

Face and Expression Recognition参考文献 11被引用数 7

ひとこと要約

本論文は、非線形画像特徴を高次元空間にマッピングして線形分離可能にするためにカーネル主成分分析（KPCA）を用いる深層学習フレームワーク、Kernel Principal Component Analysis Network（KPCANet）を提案する。その後、2層のネットワークを用いて主成分を抽出し、線形分類器を適用する。KPCANetは、顔認識、物体認識、手書き数字認識において、PCANetを上回る優れた性能を発揮し、照明変化、部分的遮蔽、微小な変形に対して優れた耐性を示す。

ABSTRACT

In order to classify the nonlinear feature with linear classifier and improve the classification accuracy, a deep learning network named kernel principal component analysis network (KPCANet) is proposed. First, mapping the data into higher space with kernel principal component analysis to make the data linearly separable. Then building a two-layer KPCANet to obtain the principal components of image. Finally, classifying the principal components with linearly classifier. Experimental results show that the proposed KPCANet is effective in face recognition, object recognition and hand-writing digits recognition, it also outperforms principal component analysis network (PCANet) generally as well. Besides, KPCANet is invariant to illumination and stable to occlusion and slight deformation.

研究の動機と目的

• 非線形データにおける線形特徴分離の限界を克服することで、画像分類の精度を向上させること。
• 複雑な画像パターンのための特徴表現を向上させるために、カーネルPCAを活用する深層学習アーキテクチャを開発すること。
• 照明変化、遮蔽、わずかな変形といった一般的な画像変化に対して耐性を示すことを目的とすること。
• 多様な画像認識ベンチマークにおいて、既存のPCANetベースの手法を上回る分類性能を達成すること。
• 効率的な特徴抽出と分類が可能なスケーラブルで安定した深層ネットワークフレームワークを提供すること。

提案手法

• 非線形特徴の線形分離性を向上させるために、カーネル主成分分析（KPCA）を用いて入力画像データを高次元特徴空間にマッピングすること。
• 深層ネットワークの階層的特徴学習を模倣するように、カーネル埋め込み済みデータから主成分を抽出する2層のネットワーク構造を設計すること。
• 抽出された主成分に線形分類器を適用して、最終的な画像分類を実行すること。
• RBFなどのカーネル関数を用いて、高次元の非線形変換を明示的に計算せずに、暗黙的に計算すること。
• KPCA層を深層学習パイプラインにおける非線形特徴抽出器として統合し、PCANetで用いられる線形PCAに置き換えること。
• 分類精度を最大化するために、KPCAと分類器のコンponentsをエンドツーエンドで最適化すること。

実験結果

リサーチクエスチョン

• RQ1 カーネルPCAは、非線形画像特徴の線形分離性を向上させ、分類性能の向上に寄与するか？
• RQ2 KPCANetは、顔認識、物体認識、数字認識といった多様な画像認識タスクにおいて、PCANetと比較してどの程度の精度を達成するか？
• RQ3 照明変化、遮蔽、微小な変形といった画像変化に対して、KPCANetはどの程度耐性を示すか？
• RQ4 深層ネットワークアーキテクチャにおけるカーネルベースの特徴抽出は、より安定的で汎化性の高い表現をもたらすか？
• RQ5 複雑なアーキテクチャを用いずに、カーネルベースの深層ネットワークは、標準的な画像分類ベンチマークで最先端の性能を達成できるか？

主な発見

• KPCANetは、顔認識、物体認識、手書き数字認識を含むすべての評価済みデータセットで、PCANetを上回る高い分類精度を達成した。
• 本手法は、照明変化に対して強く、さまざまな照明条件下でも高い性能を維持した。
• KPCANetは遮蔽や微小な画像変形に対しても安定しており、現実世界の画像劣化に対して耐性があることが示された。
• カーネルベースの特徴抽出は非線形パターンを効果的に捉え、変換空間でのより良い分離を可能にした。
• 2層のネットワーク構造は、分類器の性能を向上させるための判別性の高い主成分を効果的に抽出できた。
• 実験的結果から、KPCANetが多様な画像分類タスクにわたり、良好な一般化性能を示すことが確認された。