[論文レビュー] Local Sliced-Wasserstein Feature Sets for Illumination-invariant Face Recognition

Yan Zhuang, Shiying Li+4 more|arXiv (Cornell University)|Feb 22, 2022

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、ラドン累積分布変換（R-CDT）に基づく局所スライスド・ウォッサーシュタイン特徴量を用いた、照度不変型顔認識手法を提案する。R-CDT空間内での2次元離散測度としての局所画像勾配分布をモデル化することにより、照度に起因する変形を凸部分空間として捉え、最近傍部分空間分類により頑健な識別を実現する。本手法は、厳しい照度変動を伴うデータセットにおいて最先端の性能を達成し、複数のベンチマークで既存手法を上回る。

ABSTRACT

We present a new method for face recognition from digital images acquired under varying illumination conditions. The method is based on mathematical modeling of local gradient distributions using the Radon Cumulative Distribution Transform (R-CDT). We demonstrate that lighting variations cause certain types of deformations of local image gradient distributions which, when expressed in R-CDT domain, can be modeled as a subspace. Face recognition is then performed using a nearest subspace in R-CDT domain of local gradient distributions. Experiment results demonstrate the proposed method outperforms other alternatives in several face recognition tasks with challenging illumination conditions. Python code implementing the proposed method is available, which is integrated as a part of the software package PyTransKit.

研究の動機と目的

• 顔認識における照度変動という持続的課題に取り組み、これはアイデンティティの変化よりも性能を著しく低下させる要因となる。
• 照度に起因する局所画像勾配の変形に対して不変である理論的根拠に基づく、輸送に基づく特徴表現を開発する。
• 数学的に整合性のある部分空間学習フレームワークを用いて、極端な照明条件下でも頑健な顔認識を実現する。
• 計算効率が良く、データ効率に優れ、多様な照度データセットに一般化可能な手法を提供する。
• ログ変換などの前処理技術を統合し、画像パッチの適応的重み付けを検討して性能向上を図る。

提案手法

• 入力顔画像を局所パッチに分割し、各パッチの2次元離散勾配分布を計算する。
• 局所勾配分布を輸送に適した空間に写像するため、ラドン累積分布変換（R-CDT）を適用する。この空間では凸化の性質を有する。
• R-CDTドメイン内での勾配分布の照度に起因する変形を、線形変換（スケーリングおよび平行移動）としてモデル化する。
• 各画像をR-CDT変換済み勾配特徴の集合として表現し、重み付き距離和を用いて統合する。
• R-CDT特徴空間において最近傍部分空間法を用いて分類を実行し、照度変動に起因する分布の凸性を活用する。
• 照度変化に対する頑健性を向上させるために、ログピクセル変換を前処理ステップとして統合する。

実験結果

リサーチクエスチョン

• RQ1 照度に起因する局所画像勾配分布の変形は、輸送に基づく特徴空間内での凸部分空間として効果的にモデル化可能か？
• RQ2 R-CDT変換により、標準的な特徴記述子と比較して照度変動に起因する勾配分布の分離性が向上するか？
• RQ3 提案手法は、極端な照明変動を伴うベンチマークデータセットにおいて、既存の照度不変型顔認識手法をどの程度上回るか？
• RQ4 ログ変換された前処理の導入が、R-CDTに基づく特徴表現の頑健性をどのように向上させるか？
• RQ5 局所画像パッチの適応的重み付けにより、より識別性の高い領域に注目することで、識別精度がさらに向上するか？

主な発見

• 提案手法は、照度変動が厳しい3つのベンチマークデータセットにおいて優れた性能を達成し、既存の最先端手法を上回った。
• Yale Faceデータベースでは、訓練データにテストサブセット1および2の画像が含まれていた場合、分類精度が49.7％から82.51％に向上した。
• ログピクセル前処理の追加により、分類精度が一貫して向上し、特にYaleデータセットのテストサブセット4のような照度変動が著しい領域で最大の向上が観察された。
• 理論的分析により、照度変動下での局所勾配分布がR-CDTドメイン内で凸集合を形成することが確認され、効果的な部分空間分類が可能であることが裏付けられた。
• 訓練データの増加に伴い性能が向上し、単なるスケーリングおよび平行移動を超えた複雑な照明変動を捉えられることが示された。
• 本手法は優れた一般化性能とデータ効率を示し、限られた訓練データでも顕著な精度向上が得られた。