[論文レビュー] Are Deep Learning-Generated Social Media Profiles Indistinguishable from Real Profiles?

Sippo Rossi, Youngjin Kwon+4 more|arXiv (Cornell University)|Sep 15, 2022

Misinformation and Its Impacts参考文献 30被引用数 5

ひとこと要約

本研究では、深層学習によって生成されたSNSプロフィールおよび投稿が、本物のものと区別できないかどうかを調査している。375名の参加者を対象とした制御された実験において、完全に合成されたプロフィールおよび部分的に生成されたプロフィールのほとんどが、高い誤分類率で誤認知された。これは、高度なユーザーですらAI生成コンテンツを検出することが困難であることを示しており、平均的なSNS利用者が偽物を識別でき increasingly にくくなっているという仮説を支持する。

ABSTRACT

In recent years, deep learning methods have become increasingly capable of generating near photorealistic pictures and humanlike text up to the point that humans can no longer recognize what is real and what is AI-generated. Concerningly, there is evidence that some of these methods have already been adopted to produce fake social media profiles and content. We hypothesize that these advances have made detecting generated fake social media content in the feed extremely difficult, if not impossible, for the average user of social media. This paper presents the results of an experiment where 375 participants attempted to label real and generated profiles and posts in a simulated social media feed. The results support our hypothesis and suggest that even fully-generated fake profiles with posts written by an advanced text generator are difficult for humans to identify.

研究の動機と目的

• 人間のユーザーが深層学習で生成されたSNSプロフィールをどの程度検出できるかを評価すること。
• AI生成のプロフィールおよび投稿が、本物の人間の行動と外見をどれほどうまく模倣できるかを評価すること。
• 高度な生成AIがSNSの整合性およびユーザーの信頼に与える影響を調査すること。
• 平均的なユーザーが本物のコンテンツと合成コンテンツを信頼性を持って区別できる範囲を特定すること。

提案手法

• 参加者には、本物とAI生成のプロフィールが混在した模擬的なSNSフィードが提示された。
• プロフィールは、最新のテキスト生成モデルを用いて、本物らしく見える自己紹介文、投稿、プロフィール画像を生成した。
• 参加者の偏りのないラベル付けを保証するため、制御された匿名化された環境で実験が実施された。
• 参加者には、視覚的およびテクスチャ的証拠に基づいて、各プロフィールを「本物」または「偽物」と分類するよう求められた。
• 分類の正確性と誤差率を測定するために、データ収集と分析が行われた。
• 統計的分析により、異なるプロフィールタイプ間での検出性能の有意性が評価された。

実験結果

リサーチクエスチョン

• RQ1 平均的なSNS利用者は、本物のプロフィールとAI生成のプロフィールを信頼性を持って区別できるか？
• RQ2 AI生成コンテンツを含むプロフィールと本物のプロフィールを識別する際、人間の参加者のパフォーマンスにどのような差が生じるか？
• RQ3 AI生成のプロフィール画像とテキストが、合成プロフィールの区別不能性にどの程度寄与しているか？
• RQ4 ユーザーが偽物のプロフィールを検出する際に、特定の手がかり（例：言語パターン、画像品質）に依存しているか？
• RQ5 プロフィールコンテンツのリアルさの水準が、検出の可能性にどの程度影響を与えるか？

主な発見

• 参加者は全体でわずか52.8％のプロフィールを正しく分類した。これは、ほぼ偶率の性能であることを示している。
• 完全にAI生成されたプロフィールの検出率は51.6％であった。これは、それらが本物のプロフィールとほとんど区別できないことを示している。
• AI生成の画像とテキストを含むプロフィールは、53.2％の誤分類率を示しており、非常に高いリアルさであることがうかがえる。
• 参加者がAI生成コンテンツを含むプロフィールと本物のプロフィールを識別する際の正確性に、有意な差は認められなかった。
• 結果は、高度な生成AIが、人間が偽物と識別するのが極めて困難なSNSプロフィールを生成できることを支持する。