[論文レビュー] Robust 3D face recognition in presence of pose and partial occlusions or missing parts

Parama Bagchi, Debotosh Bhattacharjee+1 more|arXiv (Cornell University)|Aug 16, 2014

Face recognition and analysis参考文献 4被引用数 3

ひとこと要約

本稿では、ICPベースの登録、深度マップのしきい値処理による遮蔽領域の検出、およびPCAベースの回復を用いて、ポーズの変化や部分的遮蔽に耐性を持つ3次元顔認識システムを提案する。本手法は、ボスポラス3次元顔データベースにおいて91.30%の認識精度を達成し、欠損した顔の部位に対する有効な補償と、遮蔽やポーズ変化が生じる実環境下での性能向上を示している。

ABSTRACT

In this paper, we propose a robust 3D face recognition system which can handle pose as well as occlusions in real world. The system at first takes as input, a 3D range image, simultaneously registers it using ICP(Iterative Closest Point) algorithm. ICP used in this work, registers facial surfaces to a common model by minimizing distances between a probe model and a gallery model. However the performance of ICP relies heavily on the initial conditions. Hence, it is necessary to provide an initial registration, which will be improved iteratively and finally converge to the best alignment possible. Once the faces are registered, the occlusions are automatically extracted by thresholding the depth map values of the 3D image. After the occluded regions are detected, restoration is done by Principal Component Analysis (PCA). The restored images, after the removal of occlusions, are then fed to the recognition system for classification purpose. Features are extracted from the reconstructed non-occluded face images in the form of face normals. The experimental results which were obtained on the occluded facial images from the Bosphorus 3D face database, illustrate that our occlusion compensation scheme has attained a recognition accuracy of 91.30%.

研究の動機と目的

• 実環境下でのポーズの変化や部分的遮蔽に耐性を持つ3次元顔認識システムの開発を目的とする。
• ICPの初期位置合わせへの感受性を軽減するため、初期登録ステップを組み込むこと。
• 深度マップのしきい値処理とPCAを用いて、3次元レンジ画像内の遮蔽された顔領域を検出し、回復すること。
• 特徴抽出の前に非遮蔽顔面を再構築することで、認識精度を向上させること。
• ボスポラス3次元顔データベースを用い、遮蔽およびポーズ条件を制御した状況下で、システムの頑健性を評価すること。

提案手法

• システムは3次元レンジ画像の入力を始め、表面間距離を最小化するように、反復的最近接点（ICP）アルゴリズムを用いてプローブ顔をギャラリー・モデルに登録する。
• 初期位置合わせが提供されることで、ポーズの変化に対してもロバストな登録が保証され、ICPの収束が向上する。
• 深度マップの値をしきい値処理することで、異常な深度のずれを示す領域を遮蔽領域として特定する。
• 訓練データセットからの統計的パターンを活用し、主成分分析（PCA）を用いて欠損した顔の部位を回復する。
• 識別的な特徴として、再構築された非遮蔽顔画像からの顔の法線を抽出する。
• 最終的な認識ステップでは、再構築された3次元顔表面から得られる特徴を用いて顔を分類する。

実験結果

リサーチクエスチョン

• RQ1 適切な初期位置合わせが与えられた場合、ICPベースの登録は、ポーズが変化する状況下でも3次元顔を効果的に登録できるか？
• RQ2 深度マップのしきい値処理を用いることで、3次元顔スキャンにおける遮蔽領域をどれほど正確に検出できるか？
• RQ3 PCAを用いた回復により、認識に適した高い忠実度で欠損した顔の部位をどれほど正確に再構築できるか？
• RQ4 遮蔽検出とPCAベースの回復の組み合わせが、部分的遮蔽下での認識精度を向上させるか？
• RQ5 ポーズを正規化し、遮蔽を回復した再構築顔画像を用いた場合、ボスポラス3次元顔データベースでどの程度の認識性能が達成できるか？

主な発見

• 提案された遮蔽補償方式は、部分的遮蔽およびポーズ変化の下でボスポラス3次元顔データベースにおいて91.30%の認識精度を達成した。
• 適切な初期化を伴うICPベースの登録により、登録の頑健性が著しく向上し、誤登録誤差が低減した。
• 深度マップのしきい値処理により、異常な深度値を検出することで、遮蔽領域の特定が効果的に行えた。
• PCAベースの回復により、認識に不可欠な構造的詳細を保持したまま、欠損した顔の部位が成功裏に再構築された。
• 再構築された顔の法線からの特徴抽出により、生データや部分的に遮蔽されたデータを用いた場合と比較して、認識性能が向上した。
• 本システムは実環境下でも強く頑健であることが示され、顕著なポーズ変化や遮蔽の課題に対しても高い正確性を維持した。