[論文レビュー] Generalizable Synthetic Image Detection via Language-guided Contrastive Learning

Haiwei Wu, Jiantao Zhou+1 more|arXiv (Cornell University)|May 23, 2023

Digital Media Forensic Detection被引用数 7

ひとこと要約

本論文では、一般化性に優れた合成画像検出のための言語誘導型対照学習フレームワークであるLASTEDを提案する。画像に意味的なテキストラベル（'本物の写真'、'合成の絵画'など）を追加し、検出を識別タスクとして定式化することで、未学習の生成モデルに対してSOTAを+22.66%の精度および+15.24%のAUCで上回る一般化性能を達成した。

ABSTRACT

The heightened realism of AI-generated images can be attributed to the rapid development of synthetic models, including generative adversarial networks (GANs) and diffusion models (DMs). The malevolent use of synthetic images, such as the dissemination of fake news or the creation of fake profiles, however, raises significant concerns regarding the authenticity of images. Though many forensic algorithms have been developed for detecting synthetic images, their performance, especially the generalization capability, is still far from being adequate to cope with the increasing number of synthetic models. In this work, we propose a simple yet very effective synthetic image detection method via a language-guided contrastive learning. Specifically, we augment the training images with carefully-designed textual labels, enabling us to use a joint visual-language contrastive supervision for learning a forensic feature space with better generalization. It is shown that our proposed LanguAge-guided SynThEsis Detection (LASTED) model achieves much improved generalizability to unseen image generation models and delivers promising performance that far exceeds state-of-the-art competitors over four datasets. The code is available at https://github.com/HighwayWu/LASTED.

研究の動機と目的

• より現実的になったAI生成画像の検出という重要な課題に取り組むこと、特に多様で未学習の合成モデルにわたる検出を対象とする。
• 分布外の生成モデルに対して失敗する既存の分類ベースのアプローチを越えて、検出器の一般化性能を向上させること。
• より強固で判別力のある特徴表現学習が可能になるように、言語の監視と対照学習を活用したフォレンジック検出手法を開発すること。
• 多クラス分類タスクではなく、識別問題として合成画像検出を再定式化することで、限られたデータでも性能を向上させること。

提案手法

• 『本物の写真』、『本物の絵画』、『合成の写真』、『合成の絵画』といった、慎重に設計されたテキストラベルをトレーニング画像に追加し、画像-テキストペアを構築する。
• 一致する画像-テキストペアを整列させ、意味的コンセプトを分離するように、対照学習を用いて統合的な画像-テキストエンコーダーを学習する。
• 分類タスクではなく、画像が同じカテゴリ（本物または合成）に属するかどうかを特定する識別タスクとして検出を定式化する。
• 従来の研究で用いられる最終段階の線形分類器を、判別力のある表現学習に最適化された特徴抽出ヘッドに置き換える。
• 正例ペア間の類似度を最大化し、負例ペア間の類似度を最小化するように対照損失を用い、強固な特徴表現学習を可能にする。
• CLIPにインspiredされたアーキテクチャを活用し、画像とテキストの2つのエンコーダーを備えることで、未学習のモデルへのゼロショット一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 言語誘導型対照学習は、多様で未学習の生成モデルにわたる合成画像検出器の一般化性能を向上させ得るか？
• RQ2 多クラス分類タスクではなく識別タスクとして合成画像検出を再定式化することで、より良い性能と耐性が得られるか？
• RQ3 本物の画像に自然言語のアノテーションがない状況でも、慎重に設計されたテキストラベルがフォレンジック特徴学習の有効な監視信号として機能するか？
• RQ4 GANおよび拡散モデルによる未学習の生成画像に対して、LASTEDはSOTA手法と比較して精度およびAUCでどの程度優れているか？
• RQ5 提案手法は、医療画像や衛星画像など、未学習の画像タイプに対してもどの程度一般化可能か？

主な発見

• 未学習の画像生成モデルにおいて、SOTAの競合手法を+22.66%の精度および+15.24%のAUCで上回った。
• GAN、DM、デュープフェイクモデルを含む10の多様なテストケースにおいて、平均APが97.5%を維持した。
• SANおよびデュープフェイクデータセットにおいて、従来の検出器が一般化性能に欠ける中、LASTEDは顕著に優れた性能を示した。
• 識別ベースの定式化により、限られたトレーニングデータからでも、非常に判別力の高い特徴を抽出できるようになった。
• テキストラベルによる言語の監視を活用することで、意味的分離が促進され、フォレンジック表現の最適化が向上した。
• 多様な画像タイプにわたって良好な一般化性能を示したが、医療画像や衛星画像など未学習ドメインでは、追加のトレーニングデータがなければ性能が低下する可能性がある。