[論文レビュー] Image Pixel Fusion for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|Jul 5, 2010

Face and Expression Recognition参考文献 15被引用数 8

ひとこと要約

本稿では、照明の変動、顔の部分的閉塞、模様の見えにくさといった困難な条件下での認識を向上させるために、光学的および赤外線的顔画像のピクセルレベルでの融合を提案する。重み付き平均法を用いて画像を融合し、それらを固有空間に投影し、RBFおよびMLPニューラルネットワークを用いて分類することで、OTCBVSデータベースにおいて96%および95.07%の認識精度を達成した。

ABSTRACT

In this paper we present a technique for fusion of optical and thermal face images based on image pixel fusion approach. Out of several factors, which affect face recognition performance in case of visual images, illumination changes are a significant factor that needs to be addressed. Thermal images are better in handling illumination conditions but not very consistent in capturing texture details of the faces. Other factors like sunglasses, beard, moustache etc also play active role in adding complicacies to the recognition process. Fusion of thermal and visual images is a solution to overcome the drawbacks present in the individual thermal and visual face images. Here fused images are projected into an eigenspace and the projected images are classified using a radial basis function (RBF) neural network and also by a multi-layer perceptron (MLP). In the experiments Object Tracking and Classification Beyond Visible Spectrum (OTCBVS) database benchmark for thermal and visual face images have been used. Comparison of experimental results show that the proposed approach performs significantly well in recognizing face images with a success rate of 96% and 95.07% for RBF Neural Network and MLP respectively.

研究の動機と目的

• 変動する照明条件下における可視顔認識の限界を解消すること。
• 赤外線顔画像に欠ける模様の詳細を補完すること。
• サングラス、ヒゲ、あごひげなどの顔の閉塞に対する耐性を高めること。
• 光学的および赤外線的画像モダリティの長所を組み合わせる統合戦略を開発すること。
• 固有空間への投影とニューラルネットワーク分類器を用いて、統合画像の性能を評価すること。

提案手法

• 光学的および赤外線的顔画像のピクセルレベルでの統合は、重み付き平均法を用いて実施される。
• 統合画像は、主成分分析（PCA）を用いて固有空間に投影される。
• 分類は、径路基底関数（RBF）ニューラルネットワークおよび多層パーセプトロン（MLP）を用いて実施される。
• トレーニングおよびテストに、物体追跡と可視スペクトル外分類（OTCBVS）データベースが使用される。
• 画像統合の重みは、両モダリティからの顕著な特徴を保持するように最適化される。
• 認識性能は、複数のテストセットにおける分類精度に基づいて評価される。

実験結果

リサーチクエスチョン

• RQ1 光学的および赤外線的顔画像のピクセルレベル統合は、劣悪な照明条件下での認識性能を向上させることができるか？
• RQ2 補完的視覚的および赤外線的データの統合は、個別のモダリティと比較して認識精度にどのように影響を与えるか？
• RQ3 RBFおよびMLPニューラルネットワークの統合顔画像分類における性能を比較すると、それぞれどうなるか？
• RQ4 顔の閉塞および模様の変動は認識にどの程度影響を及ぼし、統合はその問題をどのように緩和するか？
• RQ5 統合画像の固有空間への投影は、認識に向けた判別的特徴表現を強化するか？

主な発見

• 提案されたピクセル統合手法は、RBFニューラルネットワークを用いて96%の認識精度を達成した。
• MLP分類器は、統合顔画像に対して95.07%の認識精度を達成した。
• 統合により、光学的または赤外線的画像を単独で用いた場合と比較して、顔認識性能が顕著に向上した。
• 本手法は、照明の変動およびサングラスやヒゲなどの部分的顔の閉塞に対しても、頑健であることが示された。
• 固有空間への投影は、次元削減を効果的に行いながら、分類に向けた判別的特徴を保持した。
• OTCBVSデータベースは、非理想的な条件下におけるマルチモーダル顔認識を評価するための信頼できるベンチマークを提供した。