[論文レビュー] Generalized Zero and Few-Shot Transfer for Facial Forgery Detection

Shivangi Aneja, Matthias Nießner|arXiv (Cornell University)|Jun 21, 2020

Domain Adaptation and Few-Shot Learning参考文献 46被引用数 6

ひとこと要約

本稿では、混合モデルに基づく損失を用いてソースドメインのデータをマルチモーダルな分布としてモデル化することで、顔の改ざん検出のためのゼロショットおよびフェイントショット転移学習手法であるDeep Distribution Transfer (DDT) を提案する。分布のモードを本物／偽物ラベルにマッピングするエンコーダーを訓練し、モードの関連付けによって転移することで、FaceForensics++ から Dessa データセットに転移する際、最先端のベースラインよりもゼロショット精度で 4.88%、フェイントショット精度で 8.38% 高い性能を達成する。

ABSTRACT

We propose Deep Distribution Transfer(DDT), a new transfer learning approach to address the problem of zero and few-shot transfer in the context of facial forgery detection. We examine how well a model (pre-)trained with one forgery creation method generalizes towards a previously unseen manipulation technique or different dataset. To facilitate this transfer, we introduce a new mixture model-based loss formulation that learns a multi-modal distribution, with modes corresponding to class categories of the underlying data of the source forgery method. Our core idea is to first pre-train an encoder neural network, which maps each mode of this distribution to the respective class labels, i.e., real or fake images in the source domain by minimizing wasserstein distance between them. In order to transfer this model to a new domain, we associate a few target samples with one of the previously trained modes. In addition, we propose a spatial mixup augmentation strategy that further helps generalization across domains. We find this learning strategy to be surprisingly effective at domain transfer compared to a traditional classification or even state-of-the-art domain adaptation/few-shot learning methods. For instance, compared to the best baseline, our method improves the classification accuracy by 4.88% for zero-shot and by 8.38% for the few-shot case transferred from the FaceForensics++ to Dessa dataset.

研究の動機と目的

• 再トレーニングが広範に必要とされない、これまでにない顔の改ざん手法を検出する課題に対処すること。
• 異なる改ざん手法やデータセット間での顔の改ざん検出における一般化性能を向上させること。
• 特にゼロショットおよびフェイントショット設定において有効な、低データ環境での転移学習フレームワークを開発すること。
• 高視覚的類似性を持つ二値改ざん検出タスクにおける、従来のドメイン適応およびフェイントショット学習の限界を克服すること。

提案手法

• ソースドメインにおける本物および偽物クラスに対応するモードを持つマルチモーダルな分布を学習するため、混合モデルに基づく損失を提案する。
• ワッサーシュタイン距離の最小化を用いて、エンコーダーネットワークを訓練し、各分布モードの潜在コードを対応するクラスラベル（本物／偽物）にマッピングする。
• ターゲットドメインのサンプルを事前に訓練されたモードに最も近いものと関連付けることで、分類をモードの近接性に基づいて実行する。
• ドメイン間一般化を向上させるために、トレーニング中にソースドメインおよびターゲットドメインの画像を混合する空間的ミックスアップ増強戦略を導入する。
• 2段階のトレーニングプロセスを採用する：まずソースデータで分布損失を用いて事前学習を行い、次にターゲットデータでモード関連付けを用いてファインチューニングする。
• 本物および偽物の分布間のワッサーシュタイン距離に基づくコントラスト学習目的関数を用いて、潜在表現を整列させる。

実験結果

リサーチクエスチョン

• RQ1 1 つの改ざん手法で事前学習したモデルは、ゼロまたは少数のトレーニングサンプルで、以前に見たことのない改ざん手法に効果的に一般化できるか？
• RQ2 ソースデータをマルチモーダルな分布としてモデル化することで、顔の改ざん検出におけるゼロショットおよびフェイントショット転移性能がどのように向上するか？
• RQ3 空間的ミックスアップ増強は、異なる改ざん手法およびデータセット間での一般化をどの程度向上させるか？
• RQ4 DDT は、ゼロショットおよびフェイントショットの改ざん検出において、最先端のドメイン適応およびフェイントショット学習手法と比較してどのように優れているか？
• RQ5 提案された分布ベースの損失は、クロスドメインの改ざん検出において、標準的な分類またはコントラスト学習を上回る性能を発揮するか？

主な発見

• FaceForensics++ から Dessa データセットに転移する際、DDT は最も優れたベースラインよりもゼロショット分類精度を 4.88% 向上させる。
• フェイントショット設定では、同じ転移タスクにおいて、最も強いベースラインよりも 8.38% の精度向上を達成する。
• 空間的ミックスアップ増強は、NT-to-DF および DF-to-NT の転移において、平均してゼロショット精度を 2.88% 向上させ、NT-to-DF タスクのフェイントショットファインチューニングでは 3.81% の向上をもたらす。
• 本手法は、Dessa、Celeb-DF、AIF の3つの追加データセットにおいてもすべてのベースラインを上回り、わずか 100 枚のファインチューニング画像でそれぞれ 84.80%、77.07%、70.32% の精度を達成する。
• 提案された分布ベースの損失とモード関連戦略により、本物と偽物の画像が高視覚的類似性を持つ状況でも、効果的な転移が可能となり、標準的な分類やコントラスト学習の手法を上回る性能を発揮する。
• アブレーションスタディの結果、空間的ミックスアップは、特にフェイントショットのシナリオにおいて、未確認の改ざん手法への一般化を顕著に向上させるが、ドメイン内性能にはほとんど影響を与えないことが確認された。