[論文レビュー] Classification of fused face images using multilayer perceptron neural network

Debotosh Bhattacharjee, Mrinal Kanti Bhowmik+3 more|arXiv (Cornell University)|Jul 5, 2010

Face and Expression Recognition参考文献 17被引用数 7

ひとこと要約

本稿では、照明、ポーズ、表情の変化に対して頑健性を高めるために、ピクセルレベルの統合を用いて視覚的および赤外線顔画像を統合する顔認識手法を提案する。統合された画像は固有空間に投影され、多層パーセプトロンを用いて分類され、OTCBVSデータベースで95.07%の認識成功率を達成した。これは個々のモodalitiy（モダリティ）に比べ顕著な性能向上を示している。

ABSTRACT

This paper presents a concept of image pixel fusion of visual and thermal faces, which can significantly improve the overall performance of a face recognition system. Several factors affect face recognition performance including pose variations, facial expression changes, occlusions, and most importantly illumination changes. So, image pixel fusion of thermal and visual images is a solution to overcome the drawbacks present in the individual thermal and visual face images. Fused images are projected into eigenspace and finally classified using a multi-layer perceptron. In the experiments we have used Object Tracking and Classification Beyond Visible Spectrum (OTCBVS) database benchmark thermal and visual face images. Experimental results show that the proposed approach significantly improves the verification and identification performance and the success rate is 95.07%. The main objective of employing fusion is to produce a fused image that provides the most detailed and reliable information. Fusion of multiple images together produces a more efficient representation of the image.

研究の動機と目的

• 照明の変化、ポーズの変化、表情の変化といった困難な条件下での顔認識性能の向上を目的とする。
• 単独の視覚的または赤外線顔認識の限界を補うために、両モダリティから補完的情報を統合することを目的とする。
• 分類性能の向上を図るため、1つの詳細で信頼性の高い表現を生成する頑健な画像統合技術の開発を目的とする。
• 多層パーセプトロン（MLP）ニューラルネットワークが統合顔画像を分類する際の有効性を評価することを目的とする。
• ピクセルレベルでの視覚的および赤外線顔画像の統合が、認証および識別精度を向上させることを示すこと

提案手法

• 視覚的および赤外線顔画像をピクセルレベルで統合し、構造的および赤外線的情報を強化した合成画像を作成する。
• 主成分分析（PCA）を用いて、次元削減および特徴抽出のため、統合画像を固有空間に投影する。
• 次元削減された固有空間特徴量を用いて、多層パーセプトロン（MLP）ニューラルネットワークを訓練し、分類を行う。
• 同期された視覚的および赤外線顔画像を含む、OTCBVSデータベースをベンチマークデータセットとして使用する。
• 統合および特徴抽出の前段階で、正規化およびアライメントなどの標準的な前処理手順を適用する。
• 誤差逆伝播法を用いて、2値分類および多クラス分類タスクのMLPアーキテクチャを最適化する。

実験結果

リサーチクエスチョン

• RQ1 視覚的および赤外線顔画像のピクセルレベル統合は、悪条件下での認識性能を向上させることができるか？
• RQ2 視覚的および赤外線データの組み合わせは、顔特徴の識別力にどのように影響を与えるか？
• RQ3 統合顔画像に対するMLP分類器の使用が、分類精度をどの程度向上させるか？
• RQ4 固有空間への投影は、認識システムの一般化性能および効率性にどのような影響を与えるか？
• RQ5 提案手法の統合アプローチは、個々の視覚的または赤外線顔認識システムと比較して、どのように差をつけるか？

主な発見

• 提案された統合手法は、OTCBVSベンチマークデータベースで95.07%の認識成功率を達成した。
• 統合画像は、視覚的または赤外線画像単体よりも詳細で信頼性の高い情報を提供した。
• ピクセルレベル統合とMLP分類の組み合わせは、個々のモダリティ認識システムを顕著に上回った。
• 固有空間への投影は、次元削減を効果的に行った一方で、分類に有用な識別的特徴を保持した。
• 本手法は、照明の変化、ポーズの変化、表情の違いに対して頑健であることが示された。
• 結果から、マルチモーダル統合が顔認識システム全体の性能を向上させることを確認した。