[論文レビュー] Amplifying The Uncanny

Terence Broad, Frédéric Fol Leymarie+1 more|University of the Arts London Research Online (University of the Arts London)|Feb 17, 2020

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 5

ひとこと要約

本論文は、深層偽造生成を逆転させることでアンビバレンス効果を強化する新しい手法を提案する。実際の再現性を最適化するのではなく、識別器が「偽物」と予測する画像を生成するようにモデルを訓練することで、知覚的な奇妙さを最大化する。得られた画像——機械的幻覚であり、極めて現実的ではないが妥当性を保つ——が、人工性と知覚をテーマにした芸術的シリーズの基盤をなす。

ABSTRACT

Deep neural networks have become remarkably good at producing realistic deepfakes, images of people that (to the untrained eye) are indistinguishable from real images. Deepfakes are produced by algorithms that learn to distinguish between real and fake images and are optimised to generate samples that the system deems realistic. This paper, and the resulting series of artworks Being Foiled explore the aesthetic outcome of inverting this process, instead optimising the system to generate images that it predicts as being fake. This maximises the unlikelihood of the data and in turn, amplifies the uncanny nature of these machine hallucinations.

研究の動機と目的

• 生成の人工性を強調するために深層偽造生成を逆転させた際の美的・知覚的結果を調査すること。
• 敵対的モデルを再利用し、実際のものである可能性が最も低い画像を生成する方法を探索することにより、アンビバレンス効果を拡大すること。
• リアルな再現性ではなく、意図的な知覚的不協和を生み出すために機械学習モデルを活用する新しい芸術的メソッドを構築すること。
• 生成された画像におけるリアリズムと人工性の境界を、生成目的を逆転させることで体系的に検証すること。

提案手法

• 生成画像を「偽物」と分類するように最適化された識別器を備えた生成的敵対ネットワーク（GAN）を訓練する。
• 訓練目的を逆転：本質的に実画像に対する識別器の損失を最小化する代わり、生成器が偽物と予測される画像に対する識別器の信頼度を最大化するように最適化する。
• 識別器の信頼度スコアを損失関数として用い、生成器が可能な限り説得性のない画像を生成するように誘導する。
• 潜在空間のサンプリングにこの逆転最適化を適用し、標準的なGAN出力よりも体系的に不自然な画像を生成する。
• 識別器のフィードバックを繰り返し用いて生成器を精練し、知覚的異常や歪みを強化する。
• 『Being Foiled』シリーズにおける視覚的分析と芸術的キュレーションを通じて、美的結果を検証する。

実験結果

リサーチクエスチョン

• RQ1 生成モデルをリアリズムではなく、最大の人工性の知覚をもたらすように最適化した場合、どのような結果が得られるか？
• RQ2 敵対的モデルをどのように再利用すれば、アンビバレンス効果の深くに位置する領域に位置する画像を生成できるか？
• RQ3 識別器が「偽物」と予測する確信度を最大化するように生成された画像に、どのような知覚的特徴が現れるか？
• RQ4 GANの訓練目的を逆転させることで、機械的幻覚に基づいた新たな芸術的表現形態が得られるか？
• RQ5 これらの生成画像が、目立った異常ではなく、微細な歪みによってアンビバレンスを引き起こすのはどの程度か？

主な発見

• 逆転訓練プロセスにより、標準的なGAN出力よりも一貫して不自然でアンビバレンス的と感じられる画像が生成された。
• 得られた画像は、非対称な顔貌特徴や現実的でない照明といった、微妙で体系的な歪みを示しており、アンビバレンス効果を引き起こしている。
• これらの画像が「偽物」として識別器によって高い信頼度で分類されたことから、モデルが人工性を内部的に一貫して識別できていることが確認された。
• 『Being Foiled』という芸術的シリーズは、偽物として最適化された機械生成画像が、強い感情的・美的反応を引き起こせることを示している。
• この手法により、アンビバレンス効果は固定された閾値ではなく、敵対的最適化によって体系的に拡大可能な勾配であることが明らかになった。
• 本手法は、合成メディアにおける知覚と人工性の境界を探索するための新しいフレームワークを提供する。