[論文レビュー] How to Distinguish AI-Generated Images from Authentic Photographs

Negar Kamali, Karyn Nakamura+3 more|arXiv (Cornell University)|Jun 12, 2024

AI in cancer detection被引用数 7

ひとこと要約

この論文は、AI生成画像と実写写真を区別するのを助けるため、five categories にわたる artifacts と implausibilities を整理した実用的ガイドを提示し、ラベル付きデータセットで裏付けられています。

ABSTRACT

The high level of photorealism in state-of-the-art diffusion models like Midjourney, Stable Diffusion, and Firefly makes it difficult for untrained humans to distinguish between real photographs and AI-generated images. To address this problem, we designed a guide to help readers develop a more critical eye toward identifying artifacts, inconsistencies, and implausibilities that often appear in AI-generated images. The guide is organized into five categories of artifacts and implausibilities: anatomical, stylistic, functional, violations of physics, and sociocultural. For this guide, we generated 138 images with diffusion models, curated 9 images from social media, and curated 42 real photographs. These images showcase the kinds of cues that prompt suspicion towards the possibility an image is AI-generated and why it is often difficult to draw conclusions about an image's provenance without any context beyond the pixels in an image. Human-perceptible artifacts are not always present in AI-generated images, but this guide reveals artifacts and implausibilities that often emerge. By drawing attention to these kinds of artifacts and implausibilities, we aim to better equip people to distinguish AI-generated images from real photographs in the future.

研究の動機と目的

• 実写写真とAI生成画像を識別する人間能力を、非常にフォトリアリスティックであるにもかかわらず向上させる必要性を喚起する。
• AI生成を示すartifactとimplausibilityを構造化したガイドを提案する。
• 拡散モデルの画像、ソーシャルメディアのサンプル、実写真を組み合わせたデータセットを作成・活用し、手掛かりを示す。

提案手法

• 解剖学的、スタイル的、機能的、物理法則の違反、社会文化的の五つのartifact/implausibilityカテゴリーを定義する。
• 手掛かりを示すために138枚の拡散モデル画像を生成する。
• 比較のために9つのソーシャルメディア画像と42枚の実写真をキュレーションする。
• 画像の出所を疑わせる手掛かりを示すためにデータセットを用いて説明する。
• artifactが知覚できない場合の限界や、ピクセルだけの評価の難しさを議論する。

実験結果

リサーチクエスチョン

• RQ1 AI生成画像において、五つのカテゴリー全体でどのようなartifactやimplausibilityが現れやすいか。
• RQ2 ピクセルレベルの手掛かりだけで読者はAI生成画像をどの程度識別できるか。
• RQ3 構造化されたガイドがAI生成画像と実写写真を識別する人の能力をどのように向上させるか。
• RQ4 出所判断のために知覚可能なartifactだけに依存することの限界は何か。

主な発見

• 五つのカテゴリーからなるガイドは、AI生成を示唆するさまざまなartifactと不自然さを網羅する。
• AI生成画像は知覚可能なartifactに欠ける場合があるが、疑いを促す手掛かりを強調するガイドとなる。
• キュレーション済みデータセットは、読者が画像の出所を疑問視するような手掛かりの種類を示す。
• ピクセルを超えた文脈は、出所判定の正確さには依然として重要である。