[논문 리뷰] Single-view to Multi-view: Reconstructing Unseen Views with a Convolutional Network

Maxim Tatarchenko, Alexey Dosovitskiy외 1명|arXiv (Cornell University)|2015. 11. 20.

Computer Graphics and Visualization Techniques참고 문헌 33인용 수 63

한 줄 요약

이 논문은 합성 3D 모델 렌더링에서 유도된 암묵적 3D 표현을 학습함으로써 단일 입력 이미지에서 볼 수 없는 새로운 시점의 객체를 재구성하는 컨볼루션 신경망을 제안한다. 합성 데이터로만 훈련된 모델은 실제 자연 이미지로 효과적으로 일반화되어 색상 이미지와 깊이 맵을 생성하며, 단일 시점에서 3D 포인트 클라우드 및 메시 재구성 가능하다.

ABSTRACT

We present a convolutional network capable of generating images of a previously unseen object from arbitrary viewpoints given a single image of this object. The input to the network is a single image and the desired new viewpoint; the output is a view of the object from this desired viewpoint. The network is trained on renderings of synthetic 3D models. It learns an implicit 3D representation of the object class, which allows it to transfer shape knowledge from training instances to a new object instance. Beside the color image, the network can also generate the depth map of an object from arbitrary viewpoints. This allows us to predict 3D point clouds from a single image, which can be fused into a surface mesh. We experimented with cars and chairs. Even though the network is trained on artificial data, it generalizes well to objects in natural images without any modifications.

연구 동기 및 목표

• 다중 시점 감독 없이, 훈련 중에 볼 수 없었던 객체 시점에 대해 단일 이미지에서 3D 뷰 합성을 가능하게 하기 위해.
• 합성 3D 모델 렌더링에서 일반화 가능한 암묵적 3D 표현을 학습하여 실제 세계 객체로 전이 가능하게 하기 위해.
• 목적 시점에 맞게 단일 입력 이미지에서 새로운 색상 이미지와 깊이 맵을 동시에 생성하기 위해.
• 예측된 깊이 맵을 통해 단일 이미지에서 3D 재구성(포인트 클라우드 및 메시)을 가능하게 하기 위해.
• 합성 훈련 데이터에서 실제 자연 이미지로의 제로샷 일반화를 평가하기 위해.

제안 방법

• 네트워크는 단일 이미지와 목표 시점 시각을 입력으로 받아, 컨볼루션 아키텍처를 사용해 객체의 새로운 뷰를 예측한다.
• 합성 3D 모델의 렌더링으로 훈련되어 다양한 시점에서의 형태와 외관을 추론하도록 학습된다.
• 색상 이미지와 함께 깊이 맵도 동시에 예측하여 3D 재구성 가능하다.
• 예측된 깊이 맵을 사용해 3D 포인트 클라우드를 생성하고, 이를 융합하여 표면 메시로 변환한다.
• 아키텍처는 객체 클래스의 암묵적 3D 표현을 학습하여 새로운, 볼 수 없는 객체로의 전이를 가능하게 한다.
• 실제 세계 이미지에 대해 피니팅 또는 적응 조정이 필요 없으며, 강력한 제로샷 일반화를 보여준다.

실험 결과

연구 질문

• RQ1 합성 3D 모델 렌더링으로 훈련된 CNN이 단일 이미지에서 실제 세계 객체의 새로운 뷰를 재구성하는 데 일반화 가능한가?
• RQ2 단일 시점 네트워크가 정확한 깊이 맵을 예측해 3D 재구성을 가능하게 할 정도로 어느 정도의 성능을 보이는가?
• RQ3 합성 데이터에서 학습한 암묵적 3D 표현이 실제 볼 수 없는 객체로 얼마나 잘 전이되는가?
• RQ4 예측된 깊이 맵이 단일 이미지에서 3D 포인트 클라우드 및 표면 메시를 효과적으로 생성하는 데 사용될 수 있는가?
• RQ5 자동차 및 의자와 같은 다양한 객체 카테고리에 대해 자연 이미지에 적용했을 때 모델의 성능이 유지되는가?

주요 결과

• 모델은 훈련 중에 볼 수 없었던 객체의 실사 수준의 새로운 뷰를 단일 이미지와 임의의 시점에서 성공적으로 생성한다.
• 합성 데이터로만 훈련되었음에도 불구하고, 어떤 피니팅 없이도 실제 자연 이미지로 효과적으로 일반화된다.
• 정확한 깊이 맵이 예측되어 단일 이미지에서 3D 포인트 클라우드 및 표면 메시 재구성 가능하다.
• 합성 데이터에서 학습한 암묵적 3D 표현은 자동차 및 의자와 같은 실제 세계 객체로 잘 일반화된다.
• 다중 시점 감독 또는 명시적 3D 감독 없이도 고품질의 뷰 합성 및 3D 재구성 성능을 달성한다.
• 이 방법은 강력한 제로샷 일반화를 보이며, 합성 데이터에서 실제 세계 데이터로의 강력한 전이 가능성을 시사한다.