[論文レビュー] Quotient Based Multiresolution Image Fusion of Thermal and Visual Images Using Daubechies Wavelet Transform for Human Face Recognition

Mrinal Kanti Bhowmik, Debotosh Bhattacharjee+3 more|arXiv (Cornell University)|Jul 5, 2010

Advanced Image Fusion Techniques参考文献 41被引用数 5

ひとこと要約

本論文では、熱画像と可視画像を統合してより良い人間の顔認識を達成するため、ダウーベシュウェーブレット変換を用いた商ベースのマルチスケール画像統合手法を提案する。画像をウェーブレット係数に分解し、1レベル目または2レベル目の商ベースの統合を実行した後、PCAを適用し、MLP分類器を用いることで、照明条件が変化する状況下でもOTCBVSおよびIRISデータベースで100%の認識精度を達成した。

ABSTRACT

This paper investigates the multiresolution level-1 and level-2 Quotient based Fusion of thermal and visual images. In the proposed system, the method-1 namely "Decompose then Quotient Fuse Level-1" and the method-2 namely "Decompose-Reconstruct then Quotient Fuse Level-2" both work on wavelet transformations of the visual and thermal face images. The wavelet transform is well-suited to manage different image resolution and allows the image decomposition in different kinds of coefficients, while preserving the image information without any loss. This approach is based on a definition of an illumination invariant signature image which enables an analytic generation of the image space with varying illumination. The quotient fused images are passed through Principal Component Analysis (PCA) for dimension reduction and then those images are classified using a multi-layer perceptron (MLP). The performances of both the methods have been evaluated using OTCBVS and IRIS databases. All the different classes have been tested separately, among them the maximum recognition result is 100%.

研究の動機と目的

• マルチスケールウェーブレット解析を用いて、顔認識における照度変動に対処すること。
• 商ベースの統合を通じて、照度に依存しない画像特徴を生成し、特徴表現を強化すること。
• 熱画像と可視画像の補完的情報を統合することで、認識精度を向上させること。
• 多様な照明条件下で、標準的な顔認識データベース上で統合手法の評価を行うこと。
• PCA-MLP分類パイプラインにおいて、ダウーベシュウェーブレットを用いたマルチスケール統合の有効性を示すこと。

提案手法

• 本手法は、熱画像および可視顔画像をマルチスケールサブバンドに分解するために、ダウーベシュウェーブレット変換を適用する。
• 1レベル統合では、熱画像と可視画像の対応するウェーブレット係数の商を直接計算する。
• 2レベル統合では、画像を分解し、再構成した後、再構成されたサブバンドの商を計算する。
• 商ベースの統合画像は、次に次元削減のための主成分分析（PCA）を受ける。
• 次元削減された特徴ベクトルは、多層パーセプトロン（MLP）ニューラルネットワークを用いて分類される。
• 統合戦略は画像情報を損なわず、照度変化に対して耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 多スケールレベルにおける熱画像と可視画像の商ベース統合が、照明条件の変化下でも顔認識性能を向上させることができるか？
• RQ2 1レベル統合と2レベル統合の違いが、認識精度および特徴の保持に与える影響は何か？
• RQ3 ダウーベシュウェーブレットの使用が、統合品質および認識の頑健性をどの程度向上させるか？
• RQ4 提案された統合手法が、照度に依存しない画像特徴を生成し、分類性能を向上させるか？
• RQ5 提案手法の認識性能は、OTCBVSおよびIRISなどの標準顔認識データベースでどの程度か？

主な発見

• 提案手法は、照明条件が変化する状況下でも、OTCBVSおよびIRISデータベースの両方で100%の顔認識精度を達成した。
• 2レベルの商ベース統合は、再構成の向上と係数の整合性の向上により、1レベル統合よりも優れた性能を示した。
• ダウーベシュウェーブレットの使用により、重要な画像特徴を損なわず、効果的なマルチスケール分解が可能になった。
• 主成分分析（PCA）は次元削減を効果的に行い、計算効率の向上と分類の安定性の向上を実現した。
• 商統合アプローチにより、照度に依存しない画像特徴が成功裏に生成され、照明変動に対する耐性が向上した。
• MLP分類器は、熱画像と可視画像ペアから得た商統合・PCA次元削減特徴を入力とすることで最適な性能を発揮した。