[논문 리뷰] Perspective (In)consistency of Paint by Text

Hany Farid|arXiv (Cornell University)|2022. 06. 27.

3D Surveying and Cultural Heritage인용 수 12

한 줄 요약

이 논문은 물리 기반 기하학적 감시 기법을 사용하여 DALL·E-2가 생성한 이미지의 시점 일관성 문제를 조사한다. 그 결과, 모델은 시각적으로 현실감 있는 출력을 생성하지만, 종종 일관되지 않은 시점, 그림자, 반사 기하학을 유지하지 못함을 밝혀냈다. 局소적으로 타당해 보일 수 있지만, 그림자와 반사에서 나타나는 전반적인 기하학적 일관성 결여는 인공지능 생성 미디어를 감지하는 감시 지표가 된다.

ABSTRACT

Type "a sea otter with a pearl earring by Johannes Vermeer" or "a photo of a teddy bear on a skateboard in Times Square" into OpenAI's DALL-E-2 paint-by-text synthesis engine and you will not be disappointed by the delightful and eerily pertinent results. The ability to synthesize highly realistic images -- with seemingly no limitation other than our imagination -- is sure to yield many exciting and creative applications. These images are also likely to pose new challenges to the photo-forensic community. Motivated by the fact that paint by text is not based on explicit geometric modeling, and the human visual system's often obliviousness to even glaring geometric inconsistencies, we provide an initial exploration of the perspective consistency of DALL-E-2 synthesized images to determine if geometric-based forensic analyses will prove fruitful in detecting this new breed of synthetic media.

연구 동기 및 목표

• DALL·E-2가 생성한 이미지가 3차원 구조물의 시점, 그림자, 반사 기하학에서 일관성이 있는지 평가하는 것.
• 이러한 일관성 결여가 인공지능 생성 미디어의 사진 감시 분석에 활용될 수 있는지 판단하는 것.
• 텍스트에서 이미지로의 변환 모델이 명시적인 3차원 감시 없이 3차원 시점 기하학을 얼마나 잘 모델링하는지 평가하는 것.
• 미래 모델이 인간의 기하학적 결함에 대한 감각이 둔한 점을 악용하여 탐지 회피를 할 수 있는지 탐색하는 것.

제안 방법

• 3차원에서 2차원로의 투영 일관성을 탐지하기 위해 투영점과 투영선을 사용한 시점 기하학 분석을 적용함.
• 단일 조명원 하에서 물체에서 그림자로의 제약 조건이 한 점에서 만나는지 테스트하여 그림자 일관성을 평가함.
• 물체 위치와 그 반사상의 기하학적 일관성을 점검함으로써 반사 분석을 수행함.
• 다중 실행 동안 실패 패턴을 통계적으로 평가하기 위해 각 프롬프트당 25개의 합성 이미지 세트를 사용함.
• 분석 중 기하학적 제약 조건의 가시성을 향상시키기 위해 이미지를 Grayscale로 변환하고 기울임 처리를 수행함.
• 다양한 조명 조건(예: 햇빛이 강한 날 vs. 흐린 날)을 비교하여 환경 일관성을 평가함.

실험 결과

연구 질문

• RQ1 DALL·E-2가 생성한 이미지가 3차원 구조물 간에 일관된 시점 기하학을 유지하는 정도는 어느 정도인가?
• RQ2 DALL·E-2 이미지의 그림자가 단일 조명원과 물체 위치와 기하학적으로 일관성이 있는가?
• RQ3 DALL·E-2 이미지의 반사는 물리적 반사 법칙과 시점 기하학과 얼마나 일관성이 있는가?
• RQ4 그림자와 반사에서 나타나는 기하학적 일관성 결여가 인공지능 생성 이미지를 감지하는 신뢰할 수 있는 감시 지표가 될 수 있는가?
• RQ5 왜 DALL·E-2 출력에서 반사는 그림자나 구조 기하학보다 더 자주 일관성이 없나?

주요 결과

• DALL·E-2가 생성한 이미지에서 그림자 기하학적 일관성 결여가 뚜렷하게 나타나며, 분석한 25개의 이미지 전부에서 단일 조명원 하에서 물체에서 그림자로의 제약 조건이 한 점에서 만나지 않음.
• 그림자 형태와 위치는 시각적으로 타당해 보일 수 있지만, 종종 시점 기하학과 일치하지 않음.
• DALL·E-2 이미지의 반사는 자주 시점에서 분리되어 있으며 기하학적으로 일관성이 없으며, 분석한 25개 이미지 중 단 3개만이 어느 정도 타당한 정렬을 보임.
• 모델는 시점 기하학에 기본적인 이해를 보이지만, 여러 시점 요소 간의 전반적 일관성을 유지하지 못함.
• 높은 시각적 현실감에도 불구하고 명시적인 3차원 모델링 부재로 인해 물리적으로 정확한 그림자 및 반사 렌더링에 실패함.
• 반사의 일관성 결여는 훈련 데이터에서 반사의 상대적 희소성으로 인해 모델이 정확히 학습하기 어려워졌기 때문일 가능성이 큼.