[論文レビュー] Learnable Multi-level Frequency Decomposition and Hierarchical Attention Mechanism for Generalized Face Presentation Attack Detection

Meiling Fang, Naser Damer+2 more|arXiv (Cornell University)|Sep 16, 2021

Face recognition and analysis被引用数 4

ひとこと要約

本稿では、顔のプレゼンテーション攻撃検出（PAD）における一般化性能を向上させるために、学習可能で多段階の周波数分解と階層的アテンション機構を組み合わせた二重ストリームCNNフレームワーク、LMFD-PADを提案する。空間的特徴と周波数ドメイン特徴を、特徴抽象化レベルに適合したアテンションモジュールを用いて同時に学習することで、未観測のセンサーや照明条件下でも最先端のクロスデータセット性能を達成し、OULU-NPUデータセットでHTERを15.47%まで低減した。

ABSTRACT

With the increased deployment of face recognition systems in our daily lives, face presentation attack detection (PAD) is attracting much attention and playing a key role in securing face recognition systems. Despite the great performance achieved by the hand-crafted and deep-learning-based methods in intra-dataset evaluations, the performance drops when dealing with unseen scenarios. In this work, we propose a dual-stream convolution neural networks (CNNs) framework. One stream adapts four learnable frequency filters to learn features in the frequency domain, which are less influenced by variations in sensors/illuminations. The other stream leverages the RGB images to complement the features of the frequency domain. Moreover, we propose a hierarchical attention module integration to join the information from the two streams at different stages by considering the nature of deep features in different layers of the CNN. The proposed method is evaluated in the intra-dataset and cross-dataset setups, and the results demonstrate that our proposed approach enhances the generalizability in most experimental setups in comparison to state-of-the-art, including the methods designed explicitly for domain adaption/shift problems. We successfully prove the design of our proposed PAD solution in a step-wise ablation study that involves our proposed learnable frequency decomposition, our hierarchical attention module design, and the used loss function. Training codes and pre-trained models are publicly released

研究の動機と目的

• 未観測のセンサーや照明条件下における顔のプレゼンテーション攻撃検出（PAD）における一般化ギャップを解消すること。
• 手作業で設計された特徴や深層学習ベースのPAD手法における過学習の限界を克服するため、空間的および周波数ドメイン表現を統合すること。
• 固定変換を使用するのではなく、周波数フィルターを適応的に学習することで、特徴の判別性とロバスト性を向上させること。
• CNN特徴の抽象化レベルを尊重する階層的アテンション機構を設計することで、異なるドメイン間の特徴統合を強化すること。
• ドメイン変換手法を含む最先端の手法と比較して、優れたクロスデータセット性能を示すこと。

提案手法

• 二重ストリームCNNアーキテクチャを採用：一方のストリームはRGB画像を処理して空間的特徴を学習し、もう一方は学習可能な周波数フィルターを用いて画像を多段階の周波数成分に分解する。
• 微分可能で学習可能なフィルターを用いた離散コサイン変換（DCT）を用い、センサーや照明変動に対して感受性が低い周波数ドメイン特徴を抽出する。
• 畳み込み層の下位部（テクスチャ特徴）では空間アテンションを、上位部（意味的特徴）ではチャネルアテンションを適用する階層的アテンション機構（HAM）を導入する。
• 特徴の抽象化レベルに応じて、HAMを用いて複数段階で両ストリームの特徴を統合し、特徴の抽象化レベルに応じた早期で適応的な統合を可能にする。
• 分類のためのFocal損失とピクセル単位の特徴マップの監視のためのSmooth L1損失を組み合わせた損失関数を用いてネットワークを監視し、ロバスト性を向上させる。
• バックプロパゲーションを用いてエンドツーエンドで訓練することで、周波数フィルター、アテンション重み、分類ヘッドを同時に最適化可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習可能な多段階周波数分解は、未観測のセンサーや照明条件下でも顔PADモデルの一般化性能を向上させることができるか？
• RQ2 CNN特徴の抽象化レベルに適応する階層的アテンション機構は、特徴統合と検出性能を向上させるか？
• RQ3 クロスデータセットPADシナリオにおいて、空間的および周波数ドメイン特徴の統合は、単一モダリティ手法と比較してどのように優れているか？
• RQ4 提案された構成要素（学習可能な周波数フィルター、階層的アテンション、組み合わせ損失）は、一般化性能の向上にどの程度寄与しているか？
• RQ5 過学習を避けながら、多様なキャプチャデバイスや環境において、効果的に特徴的な攻撃アーティファクトを学習できるか？

主な発見

• 提案されたLMFD-PADモデルは、O&C&I → Mクロスデータセット設定で15.47%のHTERを達成し、ドメインシフトに特化した最先端手法を上回った。
• アブレーションスタディの結果、学習可能な周波数分解、階層的アテンション機構、組み合わせ損失の各構成要素が性能向上に顕著に寄与していることが確認された。
• t-SNE可視化では、照明やデバイス条件が変化しても、本物のサンプルと攻撃サンプルの特徴が埋め込み空間で明確に分離されていることが示された。
• 本モデルは、異なる環境やデバイスにおいても攻撃サンプルのクラスタリングが強く保たれており、一般化可能な攻撃アーティファクトの抽出が有効に行われていることが示された。
• HAMモジュールにより、空間的および周波数的特徴の統合がより早期かつ文脈に適応した形で行われ、全クロスデータセット設定で性能が向上した。
• Focal損失とSmooth L1損失の使用により、特にクラス不均衡なクロスデータセット評価シナリオにおいて、標準的なBCE損失よりも優れた一般化性能が得られた。