[論文レビュー] FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing

Ajian Liu, Zichang Tan+8 more|arXiv (Cornell University)|May 5, 2023

Biometric Identification and Security被引用数 4

ひとこと要約

FM-ViTは、マルチモーダルなトレーニングデータを用いて、単一モダリティの推論が柔軟に可能な、完全にビジョントランスフォーマーに基づく顔偽造検出フレームワークを提案する。マルチヘッド相互注意と統合注意を備えたクロスモダリティトランスフォーマーブロック（CMTB）を導入することで、モダリティ固有の特徴学習を強化し、モダリティに依存しない生体状態の手がかりを抽出し、マルチモーダルベースラインと比較してFLOPsとパラメータ数を低減しながら最先端の性能を達成した。

ABSTRACT

The availability of handy multi-modal (i.e., RGB-D) sensors has brought about a surge of face anti-spoofing research. However, the current multi-modal face presentation attack detection (PAD) has two defects: (1) The framework based on multi-modal fusion requires providing modalities consistent with the training input, which seriously limits the deployment scenario. (2) The performance of ConvNet-based model on high fidelity datasets is increasingly limited. In this work, we present a pure transformer-based framework, dubbed the Flexible Modal Vision Transformer (FM-ViT), for face anti-spoofing to flexibly target any single-modal (i.e., RGB) attack scenarios with the help of available multi-modal data. Specifically, FM-ViT retains a specific branch for each modality to capture different modal information and introduces the Cross-Modal Transformer Block (CMTB), which consists of two cascaded attentions named Multi-headed Mutual-Attention (MMA) and Fusion-Attention (MFA) to guide each modal branch to mine potential features from informative patch tokens, and to learn modality-agnostic liveness features by enriching the modal information of own CLS token, respectively. Experiments demonstrate that the single model trained based on FM-ViT can not only flexibly evaluate different modal samples, but also outperforms existing single-modal frameworks by a large margin, and approaches the multi-modal frameworks introduced with smaller FLOPs and model parameters.

研究の動機と目的

• テスト時のモダリティがトレーニング入力と異なる場合に、マルチモーダルな顔偽造検出モデルが機能しないための制限を解消すること。
• 推論時に一貫したモダリティを必要とせず、利用可能なマルチモーダルデータを活用して単一モダリティの顔偽造検出性能を向上させること。
• CNNよりも長距離依存関係やグローバルな偽装手がかりをより効果的に捉えることができる、完全にトランスフォーマーに基づくアーキテクチャの開発。
• クロスモダリティアテンション機構を通じて、クラストークンの表現を豊かにし、モダリティに依存しない特徴学習を可能にすること。

提案手法

• FM-ViTは、入力モダリティ（例：RGB、Depth、IR）ごとに1つのブランチを持つマルチブランチビジョントランスフォーマーを採用し、各モダリティの特徴を独立して学習する。
• クロスモダリティトランスフォーマーブロック（CMTB）は、ViTエンコーダーの特定の段階の後に挿入され、クロスモダリティ特徴の相互作用を可能にする。
• CMTBは2つの連鎖するアテンションモジュールから構成される：マルチヘッド相互アテンション（MMA）は、一方のモダリティのアテンションマップを用いて、他方のモダリティからの情報的なパッチトークンを特定する。Fusion-Attention（MFA）は、クラストークンにクロスモダリティ情報を統合する。
• MMAは、上位50%のアテンション質量を保持するための学習可能なしきい値関数Γλ(⋅)を用い、モダリティ間での特徴の選択的抽出を実現する。
• MFAは、1つのモダリティのCLSトークンと他のモダリティのパッチトークンとの間でクロスアテンションを実行し、モダリティ不変の生体状態表現を学習可能にする。
• このフレームワークはマルチモーダルデータで学習されるが、任意の単一モダリティでの推論にデプロイ可能であり、柔軟なモダリティテストを可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルデータで学習した1つのモデルが、推論時に一貫したモダリティを必要とせずに、単一モダリティのテスト環境に効果的に一般化できるか？
• RQ2 クロスモダリティアテンション機構は、単一モダリティ入力における微細な偽装痕跡の検出をどのように向上させるか？
• RQ3 完全にトランスフォーマーに基づくFASフレームワークにおいて、モダリティ固有の特徴学習とモダリティに依存しない表現学習の最適なバランスは何か？
• RQ4 軽量なトランスフォーマーモジュールは、マルチモーダル統合ベースラインと比較して、FLOPsとモデルパラメータ数を削減しながら、性能をどのように向上できるか？

主な発見

• FM-ViT(S)は、OULU-NPUデータセットのR/D/Iプロトコルにおいて、それぞれACERが2.87%/2.32%/2.13%を達成し、ベースラインのViT(S)と比較して平均1.45パーセンテージポイントの向上を示した。
• FM-ViT(S)は、完全なマルチモーダルなFM-ViT(B)と比較して、FLOPsを90%、パラメータ数を91%削減しながら、優れた性能を維持した。
• アブレーションスタディの結果、MMAのしきい値関数におけるλ=0.5が最適な性能を発揮することが確認され、情報的なトークン選択と特徴の多様性のバランスが最適であった。
• 可視化結果から、MMAが、たとえ対象モダリティがこれらの手がかりを捉えられなくても、紙の端や眼鏡などの偽装関連領域に効果的に注目を向けることが示された。
• MFAは、複数のモダリティにわたる特徴の関連性マップを強化し、顕著な特徴の応答領域を拡大することで、微細な偽装アーチファクトに対する耐性を向上させた。
• 複数のベンチマーク（OULU-NPU、WMCA、MmFa）において最先端の性能を達成し、未学習のプロトコルに対しても強力なゼロショット一般化性能を示した。