[논문 리뷰] Multimodal Image Synthesis and Editing: The Generative AI Era

Fangneng Zhan, Yingchen Yu외 7명|arXiv (Cornell University)|2021. 12. 27.

Advanced Image and Video Retrieval Techniques인용 수 12

한 줄 요약

이 종합 검토는 생성형 AI 시대의 다중모态 이미지 합성 및 편집에 대해 포괄적인 개요를 제공하며, 지시로 사용되는 텍스트, 시각적 자료, 음성 및 기타 모ality를 포함한다. GAN, 확산 모델, 자동회귀 트랜스포머, NeRF 기반 방법을 분석하여 다중모달 정렬, 3D 인지, 윤리적 구현 분야에서의 진전, 벤치마크, 평가 지표 및 향후 과제를 강조한다.

ABSTRACT

As information exists in various modalities in real world, effective interaction and fusion among multimodal information plays a key role for the creation and perception of multimodal data in computer vision and deep learning research. With superb power in modeling the interaction among multimodal information, multimodal image synthesis and editing has become a hot research topic in recent years. Instead of providing explicit guidance for network training, multimodal guidance offers intuitive and flexible means for image synthesis and editing. On the other hand, this field is also facing several challenges in alignment of multimodal features, synthesis of high-resolution images, faithful evaluation metrics, etc. In this survey, we comprehensively contextualize the advance of the recent multimodal image synthesis and editing and formulate taxonomies according to data modalities and model types. We start with an introduction to different guidance modalities in image synthesis and editing, and then describe multimodal image synthesis and editing approaches extensively according to their model types. After that, we describe benchmark datasets and evaluation metrics as well as corresponding experimental results. Finally, we provide insights about the current research challenges and possible directions for future research. A project associated with this survey is available at https://github.com/fnzhan/Generative-AI.

연구 동기 및 목표

• 생성형 AI에 의해 이끌리는 다중모달 이미지 합성 및 편집(MISE) 분야의 최근 발전을 체계적으로 분류하고 분석하기.
• 다중모달 특징 정렬, 고해상도 이미지 생성, 신뢰할 수 있는 평가 지표와 관련된 주요 과제를 규명하기.
• 지시 모달리티(텍스트, 이미지, 음성, 시나리오 그래프 등)와 모델 아키텍처(GAN, 확산 모델, 자동회귀 모델, NeRF)의 통합 분류 체계를 제공하기.
• 다양한 MISE 작업에 걸쳐 기존 데이터셋, 평가 프로토콜, 성능 벤치마크를 조사하기.
• 3D 인지 생성, 모델 일반화, 윤리적 AI 구현과 같은 열린 과제와 향후 연구 방향을 제시하기.

제안 방법

• 지시 모달리티(텍스트, 시각적 자료, 음성, 시나리오 그래프, 뇌 신호, 마우스 이동 경로)와 모델 유형(GAN, 확산 모델, 자동회귀 트랜스포머, NeRF)에 따라 MISE 방법을 분류한다.
• 다중모달 입력이 이미지 합성을 조건화하는 조건부 생성 프레임워크를 검토하며, 조건부 GAN 및 크로스 어텐션을 갖춘 확산 모델을 포함한다.
• 재학습 없이도 편집이 가능한 사전 훈련된 GAN 및 확산 모델의 잠재공간 조작 기법을 분석한다.
• 디지털 토큰 시퀀스를 통해 다중모달 표현과 이미지 표현을 통합하는 트랜스포머 기반 자동회귀 모델의 사용을 검토한다.
• 신경 렌디언스 필드(NeRF)를 활용한 3D 인지 MISE를 분석하며, 다중 시점 일致성과 기하학적 인지 생성에 중점을 둔다.
• 모달리티 호환성, 추론 효율성, 생성 품질 측면에서 모델 아키텍처를 비교하며, 상호 간의 상충 관계를 강조한다.

실험 결과

연구 질문

• RQ1 다양한 다중모달 지시 신호(텍스트, 스케치, 음성, 시나리오 그래프)가 이미지 합성 및 편집의 품질과 제어 가능성에 어떤 영향을 미치는가?
• RQ2 MISE 분야에서 GAN 기반, 확산 모델 기반, 자동회귀, NeRF 기반 모델의 상대적 강점과 한계는 무엇인가?
• RQ3 잠재공간 조작 또는 프롬프트 엔지니어링을 통해 사전 훈련된 모델이 제로샷 또는 피셔샷 MISE에 얼마나 잘 적응할 수 있는가?
• RQ4 생성 과정에서 이질적인 모달리티(예: 텍스트와 이미지)를 정렬하는 데 있어 주요 과제는 무엇이며, 최신 기법에서는 이를 어떻게 해결하는가?
• RQ5 3D 인지 다중모달 이미지 합성 분야에서의 열린 문제는 무엇이며, 향후 모델은 2D 다중모달 입력으로부터 일관되고 고해상도의 3D 생성을 어떻게 달성할 수 있는가?

주요 결과

• 특히 텍스트와 시각적 자료 지시 신호를 통한 다중모달 지시는 이미지 합성 및 편집의 높은 제어성과 직관성을 가능하게 하여 사용자 상호작용과 창의성에 크게 기여한다.
• 확산 모델과 트랜스포머 기반 자동회귀 모델은 장거리 의존성과 다중모달 어텐션을 효과적으로 모델링하여 이미지 생성 분야에서 최고 성능을 달성했다.
• Stable Diffusion 및 DALL-E와 같은 사전 훈련된 모델은 강력한 피셔샷 및 제로샷 능력을 보이며, 잠재공간 조작을 통한 민첩한 편집이 가능하다.
• NeRF를 활용한 3D 인지 MISE는 새로운 분야로 부상하고 있으나, 다중 시점 데이터 부족과 생성 과정에서의 기하학적 일관성 요구로 인해 여전히 도전 과제로 남아 있다.
• 현재 MISE 평가 지표는 여전히 제한되어 있으며, 주관적 품질, 다양성, 입력 조건에 대한 정렬 정도를 제대로 반영하지 못해 보다 종합적인 벤치마크가 필요하다는 점을 시사한다.
• MISE 분야의 급속한 발전은 딥페이크 및 오락적 정보 유포와 같은 심각한 윤리적 우려를 야기하며, 강력한 탐지 도구와 책임감 있는 구현 관행이 필요하다.