[論文レビュー] The Deepfake Detection Dilemma: A Multistakeholder Exploration of Adversarial Dynamics in Synthetic Media

Claire Leibowicz, Sean McGregor+1 more|arXiv (Cornell University)|Feb 11, 2021

Digital Media Forensic Detection参考文献 9被引用数 8

ひとこと要約

本論文は、合成メディア検出における悪意的対立のダイナミクスを複数ステークホルダーの視点から検討し、検出ツールのアクセスが拡大するにつれ、悪意ある側がそれらを回避するように適応するようになることによって、持続的な「検出ジレンマ」が生じることを明らかにした。研究では、いかなる単一の検出アプローチも普遍的に効果的ではないとし、代わりに学術界、テクノロジープラットフォーム、市民社会、メディアが協働して、アクセス性、セキュリティ、信頼性のバランスをとる形で検出ツールの公平的で協働的なガバナンスを推進すべきだと提言している。

ABSTRACT

Synthetic media detection technologies label media as either synthetic or non-synthetic and are increasingly used by journalists, web platforms, and the general public to identify misinformation and other forms of problematic content. As both well-resourced organizations and the non-technical general public generate more sophisticated synthetic media, the capacity for purveyors of problematic content to adapt induces a ewterm{detection dilemma}: as detection practices become more accessible, they become more easily circumvented. This paper describes how a multistakeholder cohort from academia, technology platforms, media entities, and civil society organizations active in synthetic media detection and its socio-technical implications evaluates the detection dilemma. Specifically, we offer an assessment of detection contexts and adversary capacities sourced from the broader, global AI and media integrity community concerned with mitigating the spread of harmful synthetic media. A collection of personas illustrates the intersection between unsophisticated and highly-resourced sponsors of misinformation in the context of their technical capacities. This work concludes that there is no "best" approach to navigating the detector dilemma, but derives a set of implications from multistakeholder input to better inform detection process decisions and policies, in practice.

研究の動機と目的

• 誤情報の文脈において、合成メディア作成者と検出技術との間の悪意的対立ダイナミクスを分析すること。
• 合成メディア生成技術の洗練化とアクセス性の向上が、検出ツールの制約にどのように影響するかを理解すること。
• ジャーナリスト、事実確認機関、市民社会、テクノロジープラットフォームを含む、多様なステークホルダーの役割と技術的能力が、合成メディア検出に果たす役割を評価すること。
• 検出ツールへの公平なアクセスのシステム的課題と、検出が広がるにつれてツールが回避されるリスクを特定すること。
• 有効性、アクセス性、信頼性のバランスを取る多様なステークホルダーによる検出政策と協働を指針とするフレームワークを提言すること。

提案手法

• 学術界、テクノロジープラットフォーム、メディア機関、市民社会の関係者を含む複数ステークホルダー分析を実施し、検出の文脈と敵対的側の能力を評価する。
• 低リソースおよび高リソースの合成メディア生成者の技術的・戦略的プロファイルをモデル化するためのペルソナを用いる（例：「いじめっ子ボブ」、「プロパガンダ師ポール」、「国家レベルのナンシー」）。
• 検出の現実世界における限界を、検証的メディア分析の事例研究を通じて分析する。これには、国家的規模の衝撃的かつ疑わしいメディアの調査が含まれる。
• 透かし技術、シグネチャ検出、アーティファクトベース分析などの技術的手法を評価し、その頑健性とスケーラビリティを検討する。
• 悪意的ゲーム理論フレームワークを合成メディア検出に適用し、検出者と生成者との間の進化する対抗戦をモデル化する。
• 透明性、アクセスの公平性、機関の正当性を重視する検出ツール共有のガバナンスモデルを提言し、検出ジレンマの緩和を図る。

実験結果

リサーチクエスチョン

• RQ1 合成メディアの技術的洗練度と悪意ある標的化が進む現実世界の文脈において、検出ツールはどのように機能するか？
• RQ2 非技術的関係者から国家レベルの主体に至るまで、さまざまな合成メディア生成者の技術的および戦略的能力は何か？
• RQ3 検出ツールのアクセス性が向上するにつれて、それらがどのように回避されるようになるのか、そしてその影響が検出システムの信頼性と公平性に与える影響は何か？
• RQ4 多様なステークホルダー、特にリソースが乏しい環境においても公平に検出ツールにアクセスできるような、制度的およびガバナンス的モデルは何か？
• RQ5 検出ツールが効果的であると同時に、悪意ある利用のリスクを最小限に抑えるために、どのように設計・共有すべきか？

主な発見

• 合成メディア生成技術のアクセス性と適応性が高まるにつれ、検出ツールはますます回避の対象となり、持続的な検出ジレンマが生じるようになる。
• 透かし技術とシグネチャベース検出は、低～中程度のリソースを持つ合成メディア生成者（例：「いじめっ子ボブ」、「プロパガンダ師ポール」）に対しては有効であるが、『国家レベルのナンシー』のような高リソースの敵対的側には不十分である。
• いかなる単一の検出手法も普遍的に頑健ではない。最も効果的な戦略は、技術的、制度的、協働的アプローチの組み合わせに依存する。
• 検出ツールへの公平なアクセスは依然として大きな課題であり、ジャーナリストや市民社会団体などリソースが乏しい関係者たちは、しばしば重要な検出能力から除外されている。
• 検出ツールの正当性と信頼性は、技術的正確性に加え、透明なガバナンスと明確なアクセスプロトコルにも依存する。
• 将来的な検出の成功は、特定の技術的解決策に依存するのではなく、複数ステークホルダーの協働、制度的枠組み、継続的な適応にかかっている。