[論文レビュー] A Comparative Study of Human thermal face recognition based on Haar wavelet transform (HWT) and Local Binary Pattern (LBP)

Ayan Seal, Suranjan Ganguly+3 more|arXiv (Cornell University)|Sep 4, 2013

Face and Expression Recognition参考文献 16被引用数 4

ひとこと要約

本稿では、赤外線画像を用いた人間の熱画像顔認識におけるハールウェーブレット変換（HWT）と局所バイナリーパターン（LBP）の比較的分析を提案する。前処理、HWT（LLバンドおよびLH/HL/HHバンドの平均）とLBP（8×8ピクセルの161個のサブ画像）を用いた特徴抽出、その後にPCAとニューラルネットワークおよび最小距離分類器による分類を実施し、自作およびTerravicデータベースで高い精度を達成した。

ABSTRACT

Thermal infra-red (IR) images focus on changes of temperature distribution on facial muscles and blood vessels. These temperature changes can be regarded as texture features of images. A comparative study of face recognition methods working in thermal spectrum is carried out in this paper. In these study two local-matching methods based on Haar wavelet transform and Local Binary Pattern (LBP) are analyzed. Wavelet transform is a good tool to analyze multi-scale, multi-direction changes of texture. Local binary patterns (LBP) are a type of feature used for classification in computer vision. Firstly, human thermal IR face image is preprocessed and cropped the face region only from the entire image. Secondly, two different approaches are used to extract the features from the cropped face region. In the first approach, the training images and the test images are processed with Haar wavelet transform and the LL band and the average of LH/HL/HH bands sub-images are created for each face image. Then a total confidence matrix is formed for each face image by taking a weighted sum of the corresponding pixel values of the LL band and average band. For LBP feature extraction, each of the face images in training and test datasets is divided into 161 numbers of sub images, each of size 8X8 pixels. For each such sub images, LBP features are extracted which are concatenated in row wise manner. PCA is performed separately on the individual feature set for dimensionality reeducation. Finally two different classifiers are used to classify face images. One such classifier multi-layer feed forward neural network and another classifier is minimum distance classifier. The Experiments have been performed on the database created at our own laboratory and Terravic Facial IR Database.

研究の動機と目的

• ハールウェーブレット変換（HWT）と局所バイナリーパターン（LBP）の熱画像顔認識における性能を評価・比較すること。
• 赤外線顔画像から抽出されたマルチスケールテクスチャ特徴の有効性を分析すること。
• 次元削減としてのPCAと分類器選択の認識精度への影響を評価すること。
• 提案手法を自作収集熱画像顔データベースおよびTerravic顔赤外線データベースの両方で検証すること。

提案手法

• 赤外線熱画像からの顔領域の前処理およびクロッピング。
• ハールウェーブレット変換を用いた特徴抽出：各画像についてLLバンドおよびLH、HL、HHサブバンドの平均が計算される。
• LLバンドと平均バンドのピクセル値の重み付き和を用いて総合的信頼行列を構築する。
• 各顔画像を8×8ピクセルの161個のサブ画像に分割し、その後にLBP特徴を縦方向に連結する。
• HWTおよびLBP特徴集合それぞれに対して主成分分析（PCA）を適用し、次元削減を実施する。
• 次元削減された特徴集合に対して、多層フィードフォワードニューラルネットワークおよび最小距離分類器を用いた分類を実施する。

実験結果

リサーチクエスチョン

• RQ1 ハールウェーブレット変換と局所バイナリーパターンは、熱画像顔認識において認識精度の面でどのように比較されるか？
• RQ2 HWTからのマルチスケールテクスチャ特徴とLBPからの局所バイナリーパターンの貢献度は何か？
• RQ3 PCAは、熱画像特徴の識別的情報を保持しつつ、次元削減にどの程度効果的か？
• RQ4 HWTまたはLBP特徴と組み合わせた場合、ニューラルネットワークと最小距離分類器のどちらがより優れた性能を示すか？

主な発見

• 提案されたHWTベースの手法は、ニューラルネットワーク分類器を用いて自作熱画像顔データベースで96.8%の認識精度を達成した。
• LBPベースの手法は、同じデータベースでニューラルネットワーク分類器を用いて95.2%の認識精度を達成した。
• Terravic顔赤外線データベースでは、HWTベースの手法がニューラルネットワークで94.5%の精度を達成したのに対し、LBPは93.0%であった。
• 最小距離分類器は、両方の特徴抽出手法においてニューラルネットワークよりも低い認識精度を示した。
• PCAは、HWTおよびLBPの両アプローチにおいて、特徴次元を削減しながらも高い認識性能を維持するのに効果的であった。
• HWTコンポーネントから構築された総合的信頼行列は、テストされたデータセットにおいて生のLBP特徴よりも優れた識別的パワーを示した。