[논문 리뷰] Cut-and-Paste Neural Rendering

Anand Bhattad, David Forsyth|arXiv (Cornell University)|2021. 05. 04.

Computer Graphics and Visualization Techniques참고 문헌 49인용 수 8

한 줄 요약

이 논문은 깊이 이미지 프리두어(DIP)를 신경 렌더러로 사용하여 삽입된 객체를 목표 시점에 조화롭게 통합하는 컷 앤 페이스트 신경 렌더링을 제안한다. 이 방법은 일관된 알베도, 조명 필드, 표면 법선을 강제하여 실현 가능한 조명 효과를 구현한다. 기하학적 모델, 렌더링된 훈련 데이터, 또는 레이블이 필요 없이, 단지 사전 훈련된 법선 추정기만으로도 작동한다.

ABSTRACT

Cut-and-paste methods take an object from one image and insert it into another. Doing so often results in unrealistic looking images because the inserted object's shading is inconsistent with the target scene's shading. Existing reshading methods require a geometric and physical model of the inserted object, which is then rendered using environment parameters. Accurately constructing such a model only from a single image is beyond the current understanding of computer vision. We describe an alternative procedure -- cut-and-paste neural rendering, to render the inserted fragment's shading field consistent with the target scene. We use a Deep Image Prior (DIP) as a neural renderer trained to render an image with consistent image decomposition inferences. The resulting rendering from DIP should have an albedo consistent with composite albedo; it should have a shading field that, outside the inserted fragment, is the same as the target scene's shading field; and composite surface normals are consistent with the final rendering's shading field. The result is a simple procedure that produces convincing and realistic shading. Moreover, our procedure does not require rendered images or image-decomposition from real images in the training or labeled annotations. In fact, our only use of simulated ground truth is our use of a pre-trained normal estimator. Qualitative results are strong, supported by a user study comparing against state-of-the-art image harmonization baseline.

연구 동기 및 목표

• 새로운 시점에 객체를 삽입할 때 발생하는 조명 불일치 문제를 해결하기 위해.
• 삽입된 객체의 명시적 기하학적 또는 물리적 모델이 필요 없도록 하기 위해.
• 단일 이미지의 객체와 사전 훈련된 법선 추정기만을 사용하여 실현 가능한 이미지 조화를 가능하게 하기 위해.
• 렌더링된 훈련 이미지나 이미지 분해(annotation) 레이블이 전혀 필요 없도록 하는 방법을 개발하기 위해.
• 신경 렌더링을 통해 알베도, 조명, 법선을 암묵적으로 최적화하여 사진 수준의 현실감 있는 결과를 도출하기 위해.

제안 방법

• 복합 이미지를 일관된 이미지 분해 방식으로 재구성하도록 훈련된 신경 렌더러로 딥 이미지 프리두어(DIP)를 사용한다.
• DIP를 최적화하여 복합 이미지의 알베도와 일치하는 알베도를 생성하도록 한다.
• 삽입된 객체 외부의 조명 필드가 목표 시점의 조명 필드와 일치하도록 강제한다.
• 복합 이미지의 표면 법선이 최종 렌더링의 조명 필드와 일치하도록 보장한다.
• 사전 훈련된 법선 추정기를 사용해 초기 법선 감독을 제공하지만, 훈련 중에 진짜 법선 레이블이 필요하지 않다.
• 합성 진짜 이미지나 애너테이션된 분해가 전혀 없는 이미지 수준의 최적화에 의존한다.

실험 결과

연구 질문

• RQ1 딥 이미지 프리두어 기반의 신경 렌더러가 명시적 3D 기하학 없이도 현실적인 조명 조화를 달성할 수 있는가?
• RQ2 단지 이미지 수준의 감독만으로 일관된 알베도, 조명, 표면 법선을 동시에 최적화할 수 있는가?
• RQ3 렌더링된 훈련 데이터나 애너테이션을 사용하지 않아도 최신 기술 대비 우수한 성능을 내는가?
• RQ4 단일 이미지의 객체를 사전 훈련된 법선 추정기와 이미지 최적화만으로 시점에 현실적으로 삽입할 수 있는가?
• RQ5 물리적 파rameter를 명시적으로 최적화하지 않아도 결과 렌더링이 인간의 시각적 일관성과 신뢰성 있는 시각적 효과를 가지는가?

주요 결과

• 제안된 방법은 3D 모델이나 물리적 시점 파라미터 없이도 컷 앤 페이스트 작업에 대해 매우 현실적인 조명 효과를 생성한다.
• 방법은 시각적 현실감이 뛰어나지며, 사용자 연구를 통해 확인된 고도의 정성적 성과를 달성한다.
• 훈련 중에 렌더링된 이미지나 애너테이션된 이미지 분해가 전혀 필요하지 않다.
• 사전 훈련된 법선 추정기를 사용함으로써, 피팅 없이도 일관된 표면 법선 추정이 가능하다.
• 사용자 연구 결과, 방법이 최신 기술 대비 시각적 품질에서 뛰어난 성능을 보였다.
• DIP를 통한 암묵적 최적화가 알베도, 조명, 법선을 효과적으로 통합하여 현실적인 렌더링을 가능하게 함을 보여주었다.