[論文レビュー] BLADERUNNER: Rapid Countermeasure for Synthetic (AI-Generated) StyleGAN Faces

Adam Dorian Wong|arXiv (Cornell University)|Oct 12, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

BLADERUNNERは、繰り返し発生する顔面特徴点パターンに着目することで、AI生成のStyleGAN顔を迅速に検出するオープンソースの対策手法を提案する。DLIBの68特徴点モデルを用い、顔面キーポイント分布における統計的異常を特定することで、合成アーティファクトを検出する。これにより、SNS環境下でも高精度かつ低レイテンシーでリアルタイムに合成顔を検出可能である。

ABSTRACT

StyleGAN is the open-sourced TensorFlow implementation made by NVIDIA. It has revolutionized high quality facial image generation. However, this democratization of Artificial Intelligence / Machine Learning (AI/ML) algorithms has enabled hostile threat actors to establish cyber personas or sock-puppet accounts in social media platforms. These ultra-realistic synthetic faces. This report surveys the relevance of AI/ML with respect to Cyber & Information Operations. The proliferation of AI/ML algorithms has led to a rise in DeepFakes and inauthentic social media accounts. Threats are analyzed within the Strategic and Operational Environments. Existing methods of identifying synthetic faces exists, but they rely on human beings to visually scrutinize each photo for inconsistencies. However, through use of the DLIB 68-landmark pre-trained file, it is possible to analyze and detect synthetic faces by exploiting repetitive behaviors in StyleGAN images. Project Blade Runner encompasses two scripts necessary to counter StyleGAN images. Through PapersPlease acting as the analyzer, it is possible to derive indicators-of-attack (IOA) from scraped image samples. These IOAs can be fed back into AmongUs acting as the detector to identify synthetic faces from live operational samples. The opensource copy of Blade Runner may lack additional unit tests and some functionality, but the open-source copy is a redacted version, far leaner, better optimized, and a proof-of-concept for the information security community. The desired end-state will be to incrementally add automation to stay on-par with its closed-source predecessor.

研究の動機と目的

• サイバー作戦やSNSでの操作に使われる合成AI顔の増加する脅威に対処すること。
• 人間の視覚的検査を上回る自動的で迅速な合成顔検出システムを開発すること。
• 情報セキュリティコミュニティがStyleGANで生成された顔を検出できる、軽量でオープンソースのプロトタイプを提供すること。
• 顔面特徴点解析とIOA（攻撃の兆候）生成を活用して、スケーラブルかつリアルタイムの合成顔検出を実現すること。
• 将来的な自動化と運用セキュリティ防御への統合の基盤を築くこと。

提案手法

• 入力画像から顔面キーポイント座標を抽出するために、DLIBの68特徴点事前学習モデルを活用する。
• 顔面特徴点の空間的整合性および分布パターンを分析し、StyleGANで生成された顔に見られる不自然な繰り返しを検出する。
• PapersPleaseスクリプトを用いて、スクレイピングした画像サンプルから統計的乖離を特定することで、IOA（攻撃の兆候）を抽出する。
• AmongUsをリアルタイム検出器として採用し、IOAを適用してライブ運用サンプルを合成顔または本物と分類する。
• IOA抽出用とライブ検出用の2つのコアスクリプトを持つモジュラーなパイプラインを設計し、迅速な展開を可能にする。
• パフォーマンスと保守性を最適化したオープンソース版を提供するが、簡潔さを考慮し一部のユニットテストや高度な機能は除外している。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのDLIBモデルを用いて、StyleGANで生成された顔の繰り返し発生する顔面特徴点パターンを信頼性高く検出できるか？
• RQ2 特徴点の異常から導出されたIOAは、合成顔と本物の顔を効果的に区別できるか？
• RQ3 この自動化システムの性能は、人間の視覚的検査と比較してどの程度優れているか？
• RQ4 オープンソースで軽量なシステムが、AI生成顔のリアルタイム検出をどの程度達成できるか？
• RQ5 このようなシステムは、進化を続ける合成顔生成技術に対応するために、どのように段階的に強化できるか？

主な発見

• 本システムは、特に繰り返しや不自然なパターンを示す顔面特徴点分布の統計的異常を検出することで、合成顔を効果的に特定している。
• DLIBの事前学習済み68特徴点モデルを用いることで、再学習や複雑なモデルを必要とせず、高精度な検出が可能である。
• スクレイピングされたデータからIOAを抽出するプロセスにより、大量の合成顔のスケーラブルかつ自動化された検出が実現している。
• 検出パイプラインは、SNS監視におけるリアルタイム運用に適した低レイテンシー性能を達成している。
• 一部の機能が省かれたオープンソース版ではあるが、情報セキュリティワークフローへの展開において強力なプロトタイプの有効性が示されている。
• モジュラーな設計により、将来的に追加の検出ヒューリスティクスや自動化を統合し、進化を続ける合成顔生成手法に対応できる。