[논문 리뷰] Virtual View Networks for Object Reconstruction

João Carreira, Abhishek Kar외 2명|arXiv (Cornell University)|2014. 11. 22.

Advanced Vision and Imaging인용 수 5

한 줄 요약

이 논문은 동일한 객체 클래스의 유사한 객체들을 기반으로 가상의 시야를 합성하고, 이를 통해 단일 이미지에서 3D 객체 형상을 복원하기 위해 가상 시야 네트워크(Virtual View Networks, VVN)를 제안한다. 학습된 객체 시점 네트워크 상의 지오데식 경로를 활용하고, 인과 기반 SfM의 강건성을 향상시킴으로써, 입력 시야가 제한된 경우에도 도전적인 PASCAL VOC 카테고리에서 정확한 3D 복원을 달성한다.

ABSTRACT

All that structure from motion algorithms "see" are sets of 2D points. We show that these impoverished views of the world can be faked for the purpose of reconstructing objects in challenging settings, such as from a single image, or from a few ones far apart, by recognizing the object and getting help from a collection of images of other objects from the same class. We synthesize virtual views by computing geodesics on novel networks connecting objects with similar viewpoints, and introduce techniques to increase the specificity and robustness of factorization-based object reconstruction in this setting. We report accurate object shape reconstruction from a single image on challenging PASCAL VOC data, which suggests that the current domain of applications of rigid structure-from-motion techniques may be significantly extended.

연구 동기 및 목표

• 단일 입력 이미지 또는 매우 떨어진 시점에서의 경우에도 강체 구조-에서-운동(SfM) 기법을 확장하기 위해.
• 표준 SfM가 객체 클래스 간의 큰 시점 변화와 형상 차이를 다루는 데에 한계가 있음을 극복하기 위해.
• 노이즈가 많고 합성된 가상 시야를 포함한 인과 기반 SfM에 적용했을 때의 강건성과 특이성을 향상시키기 위해.
• 인식 정보와 재사용 가능한 훈련 이미지 컬렉션만을 사용하여 일반적인 객체 카테고리의 정확한 3D 복원을 가능하게 하기 위해.
• 넓은 시점 격차를 다룰 수 있도록 클래스 수준의 지식과 자세 예측을 활용하는 새로운 정렬 프레임워크를 개발하기 위해.

제안 방법

• 동일한 클래스의 객체 이미지를 그들의 시점 유사도에 따라 연결하여 가상 시야 네트워크(Virtual View Network, VVN)를 구성함으로써, 다양한 시점 간의 매끄러운 보간을 가능하게 한다.
• 2차 순서 풀링된 AlexNet fc5 특징 기반의 기술자 공간에서 자세 예측 및 최근접 이웃 검색을 통해 목표 객체와 유사한 시점을 가진 후보 이미지를 식별한다.
• 목표 객체에서 컬렉션 내 다른 이미지로 지오데식 경로를 통해 대응점을 전파함으로써, 큰 시점 변화 상황에서도 강건한 2D 정렬을 가능하게 한다.
• 스케일링된 직교성 분해를 적용하여 가상 시야에서 3D 형상을 복원하며, 노이즈에 대한 과적합을 줄이기 위해 정규화된 최적화 기법을 사용한다.
• 도메인 지식(예: 이배칭 대칭성)을 활용한 인라이어 외삽 기법을 도입하여, 특히 오목하거나 모호한 형상을 가진 객체에서 복원 정확도를 향상시킨다.
• 최종 3D 점군에서 아티팩트를 줄이고 특이성을 높이기 위해 인과 기반 분해 과정에서 고신뢰도 대응점을 우선적으로 강조한다.

실험 결과

연구 질문

• RQ1 단일 이미지에서 SfM 기법을 사용하여 3D 객체 복원을 달성할 수 있는가?
• RQ2 목표 객체를 유사한 객체 컬렉션과 정렬할 때, 큰 시점 변화가 있는 상황에서 가상 시야를 어떻게 강건하게 합성할 수 있는가?
• RQ3 학습된 가상 시야 네트워크 상의 지오데식 경로가 상당한 시점 및 형상 변화가 존재하는 상황에서 정렬의 강건성을 향상시킬 수 있는가?
• RQ4 다양한 객체 컬렉션에서 유래한 노이즈가 많은 합성 가상 시야에 대해 인과 기반 SfM를 적용했을 때, 얼마나 강건하고 특이성이 높아질 수 있는가?
• RQ5 클래스 수준의 지식과 대칭 제약 조건을 통합함으로써, 데이터가 적은 환경에서 복원 품질은 얼마나 향상될 수 있는가?

주요 결과

• VVN 프레임워크를 통해 생성된 가상 시야를 활용하면, 단일 이미지에서 조류나 비행기와 같은 복잡한 형상을 가진 PASCAL VOC 객체의 정확한 3D 복원이 가능하다.
• 인라이어 외삽 기법은 복원 품질을 크게 향상시키며, 특히 원형으로 뒤틀린, 다리 클락과 유사한 비현실적인 형태를 띠는 tv/모니터 카테고리에서 두드러진 효과를 보였다.
• 동물 카테고리의 대부분을 성공적으로 복원했지만, 말과 보트는 반복적 변형과 도전적인 자세로 인해 상당한 품질 저하가 발생했다.
• 이배칭 대칭성은 자동차나 비행기와 같은 대칭적인 객체에서 효과적으로 3D 구조를 향상시키지만, 자세나 형태에서 비대칭성이 있는 인간의 경우는 그 효과가 떨어졌다.
• 이미지 윤곽선만을 사용하는 시각 헐(visual hull)과 같은 기존 접근 방식은 질감과 대응 정보를 忽略하고 오목부를 포착하지 못해 성능이 열등하다.
• 복원 결과는 공개적으로 온라인으로 제공되며, 비디오 데모는 http://youtu.be/JfDJji5sYXE 에서 확인 가능하여 향후 이 새로운 과제에 대한 평가를 가능하게 한다.