[論文レビュー] FeatherNets: Convolutional Neural Networks as Light as Feather for Face Anti-spoofing

Peng Zhang, Fuhao Zou+6 more|arXiv (Cornell University)|Apr 22, 2019

Biometric Identification and Security参考文献 38被引用数 7

ひとこと要約

本論文では、顔の偽造検出における特徴表現を向上させるために、グローバル平均プーリング（GAP）の代わりにストリーミングモジュールを導入した、超軽量なCNNアーキテクチャ「FeatherNets」を提案する。本手法は、新規の「アンサンブル＋キャスケード」融合戦略と新規のマルチモーダルデータセット（MMFD）を用いて、CVPR 2019 顔偽装検出チャレンジで 0.0013 の ACER を達成し、最先端の性能を実現した。

ABSTRACT

Face Anti-spoofing gains increased attentions recently in both academic and industrial fields. With the emergence of various CNN based solutions, the multi-modal(RGB, depth and IR) methods based CNN showed better performance than single modal classifiers. However, there is a need for improving the performance and reducing the complexity. Therefore, an extreme light network architecture(FeatherNet A/B) is proposed with a streaming module which fixes the weakness of Global Average Pooling and uses less parameters. Our single FeatherNet trained by depth image only, provides a higher baseline with 0.00168 ACER, 0.35M parameters and 83M FLOPS. Furthermore, a novel fusion procedure with ``ensemble + cascade'' structure is presented to satisfy the performance preferred use cases. Meanwhile, the MMFD dataset is collected to provide more attacks and diversity to gain better generalization. We use the fusion method in the Face Anti-spoofing Attack Detection Challenge@CVPR2019 and got the result of 0.0013(ACER), 0.999(TPR@FPR=10e-2), 0.998(TPR@FPR=10e-3) and 0.9814(TPR@FPR=10e-4).

研究の動機と目的

• 計算リソースが限られたモバイルおよび組み込みデバイスへの効率的で正確な顔偽装検出モデルの導入に挑戦する。
• 2次元のプレゼンテーション攻撃検出において、判別力のある特徴を捉えるのに限界があるグローバル平均プーリング（GAP）の課題を克服する。
• 深度、赤外線（IR）、RGB のマルチモーダル入力から得られる補完的情報を活用する新しい「アンサンブル＋キャスケード」融合戦略により、一般化性能と性能を向上させる。
• 強力なモデルトレーニングと評価を支援するため、新規で多様性に富み大規模なマルチモーダル顔偽装検出データセット（MMFD）を提供する。
• 最小限のアーキテクチャ（パラメータ数 0.35M、FLOPS 83M）を用いた深度画像のみのモデルで、顔偽装検出の新たなパフォーマンスベースラインを確立する。

提案手法

• 計算コストを最小限に抑えるために、スリムなスタムと少ないパラメータ数を持つ、極めて軽量なCNNアーキテクチャ「FeatherNet A/B」を提案する。
• グローバル平均プーリング（GAP）の代替として、受容 field の違いをモデル化することで空間的特徴の重要度をよりよく捉えるストリーミングモジュールを導入する。
• モデルの移植性を向上させるとともに計算量を削減するために、全結合（FC）層を排除するが、高い精度を維持する。
• 複数のモダリティ（深度、IR、RGB）で訓練された複数のモデルの予測を統合するマルチステージの「アンサンブル＋キャスケード」融合フレームワークを設計する。
• 新しく収集したMMFDデータセット上で、モデルの一般化性能を向上させるためにトレーニング段階でデータ拡張アルゴリズムを適用する。
• 推論段階でしきい値ベースの意思決定機構を用い、複数のモデルから最も信頼性の高い予測を動的に選択することで、敵対的サンプルに対する耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 軽量なCNNアーキテクチャは、モバイルおよび組み込みデバイスへの展開に適した低計算コストを維持しながら、顔偽装検出で高い精度を達成できるか？
• RQ2 ストリーミングモジュールにグローバル平均プーリング（GAP）を置き換えることで、2次元のプレゼンテーション攻撃検出における特徴表現が向上し、性能が向上するか？
• RQ3 新規の「アンサンブル＋キャスケード」融合戦略は、深度、IR、RGB のマルチモーダル入力から得られる補完的情報を活用することで、単一モデル分類器を上回る性能を達成できるか？
• RQ4 新しく収集した多様性に富んだマルチモーダルデータセット（MMFD）でトレーニングすることで、従来のベンチマークと比較してモデルの一般化性能と耐性が向上するか？
• RQ5 最小限のアーキテクチャを用いた深度画像のみのモデルの性能の上限は何か？そして、今後の研究の強力なベースラインとして機能できるか？

主な発見

• ストリーミングモジュールを備えた提案された FeatherNet A/B は、深度画像のみを用いて 0.00168 の ACER を達成し、0.35M のパラメータ数と 83M の FLOPS で、新たなSOTAベースラインを確立した。
• 「アンサンブル＋キャスケード」融合戦略は、CVPR 2019 顔偽装検出チャレンジのテストセットで、0.0013 の ACER、FPR = 10⁻² 時に 0.999 のTPR、FPR = 10⁻³ 時に 0.998 のTPR、FPR = 10⁻⁴ 時に 0.9814 のTPR を達成した。
• アブレーションスタディの結果、二次的ブランチに平均プーリングブランチ（AP-down）を追加することで、パラメータの増加を最小限に抑えつつ性能が向上した。
• 全結合層をストリーミングモジュールに置き換えることで、誤差と計算コストが低下したが、FC層を完全に削除しても性能に劣化は見られなかった。
• グローバル平均プーリング（GAP）は顔偽装検出タスクにおいて性能を低下させることが確認され、より洗練されたグローバル特徴集約の必要性が示された。
• 多様な攻撃タイプと実世界の状況を含んで収集されたMMFDデータセットは、モデルの一般化性能を向上させ、マルチモーダル環境下での強固な評価を可能にした。