[논문 리뷰] Novel Views of Objects from a Single Image

Konstantinos Rematas, Chuong Hoang Nguyen외 3명|arXiv (Cornell University)|2016. 01. 31.

Advanced Vision and Imaging참고 문헌 40인용 수 12

한 줄 요약

이 논문은 3D 객체의 단일 2D 이미지에서 3D 모델 사전 지식과 최소한의 사용자 상호작용을 활용하여 고품질의 시점에 의존하는 새로운 시각을 합성하는 새로운 방법을 제안한다. 2D에서 3D로의 정렬 기법을 통해 기하학적 구조와 외관을 전달함으로써 상호작용 속도로 현실적인 새로운 시각 생성이 가능해지고, 보조 훈련 데이터로 사용될 경우 객체 검출 성능 향상에도 기여한다.

ABSTRACT

Taking an image of an object is at its core a lossy process. The rich information about the three-dimensional structure of the world is flattened to an image plane and decisions such as viewpoint and camera parameters are final and not easily revertible. As a consequence, possibilities of changing viewpoint are limited. Given a single image depicting an object, novel-view synthesis is the task of generating new images that render the object from a different viewpoint than the one given. The main difficulty is to synthesize the parts that are disoccluded; disocclusion occurs when parts of an object are hidden by the object itself under a specific viewpoint. In this work, we show how to improve novel-view synthesis by making use of the correlations observed in 3D models and applying them to new image instances. We propose a technique to use the structural information extracted from a 3D model that matches the image object in terms of viewpoint and shape. For the latter part, we propose an efficient 2D-to-3D alignment method that associates precisely the image appearance with the 3D model geometry with minimal user interaction. Our technique is able to simulate plausible viewpoint changes for a variety of object classes within seconds. Additionally, we show that our synthesized images can be used as additional training data that improves the performance of standard object detectors.

연구 동기 및 목표

• 객체 클래스의 3D 구조적 사전 지식을 활용하여 단일 2D 이미지에서 현실적인 새로운 시각 합성을 가능하게 한다.
• 이미지 외관을 3D 기하학에 정확히 매칭시키는 효율적인 2D에서 3D로의 정렬 기법을 개발하여 사용자 상호작용을 최소화한다.
• 동적 조명과 반사광을 포함한 시점에 의존하는 외관을 합성된 시각에 구현한다.
• 합성된 시각이 객체 검출 및 분류 모델의 성능 향상에 효과적인 데이터 증강으로 활용될 수 있음을 입증한다.
• 2D 객체를 시각적으로 볼 수 있는 3D 공간으로 올려 올려 상호작용적 실시간 3D 조작을 가능하게 한다.

제안 방법

• 핵심 방법은 수동으로 정렬된 3D 모델을 기반으로 원본 이미지 픽셀의 가중 조합으로 새로운 시각 픽셀을 생성함으로써 기하학적 구조와 외관을 유지한다.
• 최소한의 사용자 입력(예: 경계 상자 또는 스크래치)을 사용하여 이미지 콘텐츠를 3D 형상 템플릿에 매칭시키는 2D에서 3D로의 정렬 기법을 도입한다.
• 관점에 따라 달라지는 외관을 구현하기 위해 관점 중심 정규 벡터에서 반사도 맵을 재구성함으로써 새로운 시각에서 현실적인 조명 및 재질 효과를 가능하게 한다.
• 반사도 맵을 검색 테이블로 간주함으로써 뷰포인트 의존 렌더링을 지원하여 계산 비용을 줄이고 현실감을 향상시킨다.
• 이중 단계 합성 기법을 사용한다: 첫 번째 단계는 3D 가이던스를 활용한 직접 픽셀 재구성; 두 번째 단계는 향상된 뷰포인트 의존 외관을 위한 반사도 맵 기반 재구성.
• 조명, 음영, 반사도를 명시적으로 분해하지 않고 기하학적 정렬을 통한 일관된 외관 전달에 집중한다.

실험 결과

연구 질문

• RQ1 3D 구조적 사전 지식을 활용하여 단일 2D 이미지에서 타당한 새로운 시각을 합성할 수 있는가?
• RQ2 최소한의 사용자 상호작용을 통해 정확한 2D에서 3D로의 정렬을 달성할 수 있는가?
• RQ3 반사광과 같은 뷰포인트 의존 외관 효과가 합성된 시각에서 현실적으로 시뮬레이션될 수 있는가?
• RQ4 합성된 시각이 객체 검출과 같은 후속 작업에서 성능 향상에 어느 정도 기여할 수 있는가?
• RQ5 시스템은 상호작용 가능한 프레임 레이트로 고품질의 새로운 시각을 생성할 수 있는가?

주요 결과

• 이 방법은 동적 조명과 재질 효과를 포함한 현실적이고 뷰포인트 의존적인 외관을 갖춘 고품질의 새로운 시각 합성을 달성한다.
• 합성된 시각은 시각적으로 타당하며, 몇 초 내로 2D 객체를 상호작용적으로 3D로 검토할 수 있게 한다.
• 2D에서 3D로의 정렬 기법은 최소한의 사용자 입력(예: 경계 상자 또는 스크래치)으로 충분하며 정확한 기하학적 및 외관 대응을 달성한다.
• 반사도 맵의 사용은 효율적이고 현실적인 뷰포인트 의존 렌더링을 가능하게 하여 직접 픽셀 재구성보다 시각적 품질을 크게 향상시킨다.
• 합성된 이미지는 효과적인 데이터 증강으로 기능하여 표준 객체 검출기 및 분류기의 성능 향상에 기여한다.
• 이 시스템은 명시적인 반사도 또는 조명 모델링 없이도 기하학적 정렬과 외관 전달을 통해 외관 일관성을 유지할 수 있음을 입증한다.