[論文レビュー] Image-level Classification in Hyperspectral Images using Feature Descriptors, with Application to Face Recognition

Vivek Sharma, Luc J. Van Gool|arXiv (Cornell University)|May 11, 2016

Remote-Sensing Image Classification参考文献 17被引用数 15

ひとこと要約

本論文は、各スペクトルバンドを個別の画像として扱い、顔認識に適した従来の特徴記述子（HOG、LBP、SIFT）を活用することで、次元削減を伴わずに全スペクトル情報を活用する、ハイパースペクトル画像（HSI）向けの新しい画像レベル分類フレームワークを提案する。この手法は、PolyU-HSFDで96.1%、CMU-HSFDで96.9%の最先端の正確性を達成し、手作業で特徴を抽出する既存のHSI顔認識手法を上回っている。

ABSTRACT

In this paper, we proposed a novel pipeline for image-level classification in the hyperspectral images. By doing this, we show that the discriminative spectral information at image-level features lead to significantly improved performance in a face recognition task. We also explored the potential of traditional feature descriptors in the hyperspectral images. From our evaluations, we observe that SIFT features outperform the state-of-the-art hyperspectral face recognition methods, and also the other descriptors. With the increasing deployment of hyperspectral sensors in a multitude of applications, we believe that our approach can effectively exploit the spectral information in hyperspectral images, thus beneficial to more accurate classification.

研究の動機と目的

• ハイパースペクトル画像（HSI）における画像レベル分類の欠如に取り組み、従来の高コストなピクセルレベル分類に焦点を当てたもの。
• 従来の手作業で特徴を抽出する記述子が、HSIに豊富に含まれるスペクトル情報の有効活用に効果的であるかを検討すること。
• HSI顔認識において、画像レベル特徴抽出がピクセルレベル手法を上回ることを示すこと。
• HOG、LBP、SIFT記述子の性能を、特に可視光から近赤外（V-NIR）範囲で比較すること。
• 次元削減を伴わない全スペクトルバンド処理が、低次元化またはRGBベースの表現に比べてより高い認識正確性をもたらすかを評価すること。

提案手法

• HSIの各スペクトルバンドを個別のモノクロースペクトル画像として扱い、画像レベル特徴抽出を可能にする。
• 固定パラメータ（HOG：8×8ウィンドウサイズ、9方向ビン；SIFT：4×4ビンサイズ、8ステップステップ）を用いて、各バンドから特徴記述子（HOG、LBP、SIFT）を抽出する。
• SIFT特徴は、100クラスタのGMMを用いてフィッシャー符号化され、その後L2正規化を経てDSIFT-FVを形成する。
• LIBSVMのC=10を用い、各バンドの特徴に対して独立に線形1対すべてのSVM分類器を訓練する。
• 最終的な予測は、全バンド固有のSVMの予測結果を多数決によって統合し、最終的なクラスラベルを決定する。
• RGB比較のため、CIE 2006色度関数、D65光源、カメラ感度を用いてHSIから3チャンネルRGB画像を合成し、同様に処理する。

実験結果

リサーチクエスチョン

• RQ1 個々のスペクトルバンドを画像として扱う画像レベル分類が、従来のピクセルレベル分類を顔認識において上回ることができるか？
• RQ2 HOG、LBP、SIFTのような手作業で特徴を抽出する記述子が、ハイパースペクトル顔画像の判別情報を効果的に捉えられるか？
• RQ3 次元削減を伴わない全スペクトルバンド処理が、低次元化またはRGBベースの特徴抽出に比べてより高い認識正確性をもたらすか？
• RQ4 SIFTベースの特徴は、HSI顔認識において他の最先端手法と比較してどのように性能を発揮するか？
• RQ5 可視光範囲（450–1100 nm）のスペクトル情報は、RGBに比べて顔認識においてより判別能が優れているか？

主な発見

• DSIFT-FVは、PolyU-HSFDデータセットで96.1%の最高正確性を達成し、他のすべての従来の特徴記述子および多数の既存手法を上回った。
• CMU-HSFDデータセットでは、DSIFT-FVが96.9%の正確性を達成し、他のすべての手作業特徴抽出手法を上回り、より複雑な統合戦略を用いたBand fusion+PLSに次ぐ成績であった。
• HOGとLBP記述子は、それぞれPolyU-HSFDで92.3%および85.6%の正確性を示し、強力な性能を発揮したが、DSIFT-FVに劣った。
• 本手法はRGBベースの特徴抽出を著しく上回り、PolyU-HSFDではDSIFT-FVがRGBで85.4%、全HSIバンドで96.1%の正確性を達成した。
• 次元削減を伴わない全スペクトルバンドの利用により、判別能の高い情報を保持し、スペクトル次元を低次元化する手法と比較して性能が向上した。
• SIFTベースの特徴は、HSI顔認識において一貫して優れた性能を示し、RGB画像分類におけるその強力な性能を再現した。