[논문 리뷰] Amplifying The Uncanny

Terence Broad, Frédéric Fol Leymarie외 1명|University of the Arts London Research Online (University of the Arts London)|2020. 02. 17.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 5

한 줄 요약

이 논문은 딥페이크 생성을 뒤집는 방식으로, 현실성 최적화가 아니라 판별기의 '가짜' 예측을 최적화함으로써 미스터리한 골짜기 효과를 극대화하는 새로운 방법을 제안한다. 이로 인해 생성된 이미지—기계적 환각이면서도 초현실적이지만 타당성 있는 이미지—는 인공성과 인지의 관계를 탐구하는 예술적 시리즈의 기초가 된다.

ABSTRACT

Deep neural networks have become remarkably good at producing realistic deepfakes, images of people that (to the untrained eye) are indistinguishable from real images. Deepfakes are produced by algorithms that learn to distinguish between real and fake images and are optimised to generate samples that the system deems realistic. This paper, and the resulting series of artworks Being Foiled explore the aesthetic outcome of inverting this process, instead optimising the system to generate images that it predicts as being fake. This maximises the unlikelihood of the data and in turn, amplifies the uncanny nature of these machine hallucinations.

연구 동기 및 목표

• 생성 모델의 현실성 최적화를 뒤집어 인공성의 강조를 통해 미학적이고 인지적 결과를 탐구하기 위해
• 대부분의 모델이 실제일 가능성이 가장 낮은 이미지를 생성하도록 적대적 모델을 재사용하여, 오히려 '미스터리한 골짜기 효과'를 극대화하기 위해
• 기계 학습 모델을 현실성 추구가 아니라 의도적인 인지적 불일치를 위한 수단으로 활용하는 새로운 예술적 방법론을 창출하기 위해
• 생성 목표를 체계적으로 뒤집음으로써 생성 이미지에서 현실성과 인공성의 경계를 탐구하기 위해

제안 방법

• 실제 이미지에 대한 판별기의 손실를 최소화하는 대신, 생성된 이미지를 '가짜'로 분류하도록 최적화된 판별기를 갖춘 생성 적대적 네트워크(GAN)를 훈련하는 방식
• 훈련 목표를 뒤집기: 실제 이미지에 대한 판별기의 손실를 최소화하는 대신, 생성기가 판별기가 '가짜' 샘플을 예측할 확신을 최대화하도록 최적화하는 방식
• 판별기의 신뢰도 점수를 손실 함수로 사용하여 생성기가 최대한 신뢰할 수 없는 이미지를 생성하도록 유도하는 방식
• 잠재 공간 샘플링에 이 뒤집힌 최적화를 적용하여, 표준 GAN 출력보다 체계적으로 더 자연스럽지 않은 이미지를 생성하는 방식
• 생성기를 반복적으로 개선하여 판별기의 피드백을 바탕으로 인지적 이상 현상과 왜곡을 극대화하는 방식
• 예술적 큐레이션과 시각적 분석을 통해 'Being Foiled' 시리즈에서 미학적 결과를 검증하는 방식

실험 결과

연구 질문

• RQ1 생성 모델이 현실성 최적화가 아니라 최대한의 인지적 인공성에 최적화될 경우 어떤 결과가 발생하는가?
• RQ2 어떻게 적대적 모델을 재사용하여 '미스터리한 골짜기' 깊이에 위치한 이미지를 생성할 수 있는가?
• RQ3 판별기의 '가짜' 예측 확률을 극대화함으로써 생성된 이미지에서 어떤 인지적 특징이 나타나는가?
• RQ4 GAN 훈련 목표를 뒤집는 것이 기계적 환각에 뿌리를 두고 새로운 형태의 예술적 표현을 가능하게 할 수 있는가?
• RQ5 이러한 생성 이미지가 뚜렷한 비정상성보다는 미세한 왜곡으로 인해 얼마나 깊이 '미스터리한 골짜기' 감정을 자극하는가?

주요 결과

• 뒤집힌 훈련 과정은 표준 GAN 출력보다 항상 더 자연스럽지 않고, 더 강한 '미스터리한 골짜기' 감각을 유도하는 이미지를 성공적으로 생성하였다.
• 생성된 이미지에는 비대칭적인 얼굴 특징이나 현실적이지 않은 조명과 같은 미세한 체계적 왜곡이 나타나, '미스터리한 골짜기 효과'를 유도하였다.
• 이러한 이미지를 '가짜'로 분류하는 데 대해 판별기의 신뢰도가 항상 높았으며, 이는 모델이 인공성을 인식하는 데 내부적으로 일관성을 유지하고 있음을 확인하였다.
• 'Being Foiled' 시리즈는 가짜로 최적화된 기계 생성 이미지가 강한 정서적 및 예술적 반응을 일으킬 수 있음을 보여주었다.
• 이 방법은 '미스터리한 골짜기'가 고정된 임계값이 아니라, 적대적 최적화를 통해 체계적으로 극대화할 수 있는 기울기임을 드러내었다.
• 이 접근법은 합성 미디어에서 인지와 인공성의 경계를 탐구하는 데 새로운 프레임워크를 제공한다.