[논문 리뷰] OBJECT 3DIT: Language-guided 3D-aware Image Editing

Oscar Michel, Anand Bhattad외 4명|arXiv (Cornell University)|2023. 07. 20.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 물리적으로 타당한 편집—예를 들어 이동, 회전, 삽입, 제거—을 가능하게 하며 시점 기하학, 조명, 그림자 등을 유지하는 언어 유도형 3D 인식 이미지 편집 프레임워크인 OBJECT 3DIT를 소개한다. 3D 시각화된 시나리오를 40만 개의 예제로 구성된 합성 데이터셋(OBJect)에서 훈련하여 실제 이미지로의 일반화가 효과적으로 이루어지며, 정량적 지표와 인간 평가 모두에서 기존 베이스라인을 능가하며, 과제 전반에서 선호도가 70% 이상을 기록한다.

ABSTRACT

Existing image editing tools, while powerful, typically disregard the underlying 3D geometry from which the image is projected. As a result, edits made using these tools may become detached from the geometry and lighting conditions that are at the foundation of the image formation process. In this work, we formulate the newt ask of language-guided 3D-aware editing, where objects in an image should be edited according to a language instruction in context of the underlying 3D scene. To promote progress towards this goal, we release OBJECT: a dataset consisting of 400K editing examples created from procedurally generated 3D scenes. Each example consists of an input image, editing instruction in language, and the edited image. We also introduce 3DIT : single and multi-task models for four editing tasks. Our models show impressive abilities to understand the 3D composition of entire scenes, factoring in surrounding objects, surfaces, lighting conditions, shadows, and physically-plausible object configurations. Surprisingly, training on only synthetic scenes from OBJECT, editing capabilities of 3DIT generalize to real-world images.

연구 동기 및 목표

• 기존 이미지 편집 도구가 기반 3D 시점 기하학과 조명을 忽시하여 물리적으로 타당하지 않은 편집을 유도하는 한계를 해결하기 위해.
• 편집이 3D 시점 맥락—객체 배치, 표면, 그림자, 조명—을 존중하는 새로운 과제인 언어 유도형 3D 인식 이미지 편집을 도입하기 위해.
• 3D 인식 편집 모델의 훈련 및 평가를 지원하기 위해 40만 개의 편집 예제를 포함한 대규모 프로시저적 생성 데이터셋(OBJect)을 개발하기 위해.
• 언어 조건부로 동작하는 디퓨전 기반 모델인 3DIT를 설계하고, OBJect에서 훈련하여 네 가지 객체 편집 과제를 수행하기 위해.
• 합성 3D 시나리오에서만 훈련된 모델이 실제 이미지로 효과적으로 일반화되어, 시나리오 일관성을 유지하는 실용적인 편집을 가능하게 함을 보여주기 위해.

제안 방법

• 저자들은 Objaverse와 Blender를 사용하여 프로시저적으로 생성된 3D 시나리오에서 유도된 40만 개의 이미지-편집 쌍으로 구성된 OBJect 데이터셋을 구축한다. 조명, 표면, 객체 배치를 제어한다.
• 각 예제는 원본 이미지, 네 가지 편집 중 하나를 묘사하는 자연어 지시문, 그리고 지상 진실 편집 이미지로 구성된다.
• 3DIT는 Zero-1-to-3 디퓨전 모델에서 초기화되며, 웹 스케일 전훈련, 3D 인식 전훈련, 과제별 미세조정의 세 단계 학습 커리큘럼을 사용해 OBJect 데이터셋에서 미세조정된다.
• 모델은 단일 과제 및 다중 과제 버전을 지원하며, 통합 아키텍처를 통해 네 가지 편집 작업을 동시에 예측할 수 있다.
• 편집 중에 객체 크기, 시점, 표면 접촉, 그림자 동역학을 유지함으로써 3D 시점 일관성을 명시적으로 모델링한다.
• 기하학적 및 조명 일관성 평가를 위해 정량적 지표(충실도, 현실성)와 인간 선호도 연구를 함께 사용한다.

Figure 1: Scene generation in OBJect depicting camera constraints, directional lighting (environment and three-point lighting not shown), and the resulting object shadows.

실험 결과

연구 질문

• RQ1 합성 3D 시나리오에서만 훈련된 모델이 실제 이미지에서 현실적이고 3D 일관성 있는 이미지 편집을 수행할 수 있는가?
• RQ2 언어 조건부 디퓨전 모델이 객체 편집 중에 그림자, 객체 크기, 가림 현상 등의 3D 시점 특성을 얼마나 잘 유지할 수 있는가?
• RQ3 3DIT가 물체 이동, 회전, 삽입, 제거 과정에서 기하학적 및 조명 일관성을 유지하는 데 있어 기존 베이스라인을 얼마나 뛰어나게 성능을 내는가?
• RQ4 단일 다중 과제 3DIT 모델이 성능 저하 없이 네 가지 편집 과제를 모두 효과적으로 처리할 수 있는가?
• RQ5 인간 평가자들이 3DIT의 출력을 기존 베이스라인과 비교해 기하학적 및 조명 정밀도 측면에서 얼마나 평가하는가?

주요 결과

• 이동 과제에서 3DIT는 기하학적 일관성에 대해 73.3%의 인간 선호도 점수를 기록하며 기존 베이스라인을 크게 능가한다.
• 제거 과제에서 3DIT는 기하학적 일관성과 조명 일관성 모두 86.6%의 선호도를 기록하여 강력한 가림 및 그림자 처리 능력을 보여준다.
• 회전 과제에서 3DIT는 기하학적 일관성에 대해 80.0%, 조명 일관성에 대해 73.3%의 선호도를 기록하여 정확한 회전 및 그림자 렌더링 능력을 입증한다.
• 3DIT의 다중 과제 버전은 네 가지 과제 전반에서 성능 저하 없이 잘 작동하여 다양한 편집 유형 간 효과적인 파라미터 공유를 보여준다.
• 합성 데이터에서만 훈련되었음에도 불구하고 3DIT는 실제 이미지로 효과적으로 일반화되어 일관된 그림자와 시나리오 구조를 가진 사진 수준의 출력을 생성한다.
• 객체를 제거하거나 재배치할 때 3DIT는 이전에 가려졌던 영역을 성공적으로 복원하여 시나리오 일관성을 유지한다.

Figure 2: Generated examples from 3DIT as well as baselines for each of the four tasks in the OBJect benchmark.