[논문 리뷰] Object-Centric Multi-View Aggregation

Shubham Tulsiani, Or Litany외 3명|arXiv (Cornell University)|2020. 07. 20.

Advanced Vision and Imaging참고 문헌 37인용 수 5

한 줄 요약

이 논문은 카메라 자세 추정을 명시적으로 수행하지 않고도 희박한 2D 뷰를 정준 3D 좌표계로 업라이프하는 객체 중심의 다중 뷰 집합 방법을 제안한다. 대칭 인식 기반의 좌표 예측을 통해 특징 전파를 향상시키고 자세의 모호함을 해소하며, 암시적 3D 특징 격자 표현을 학습함으로써 강력한 3D 재구성과 새로운 뷰 합성 성능을 달성한다. 양적 및 정성적 평가에서 암시적 및 카메라 중심 기반의 베이스라인을 능가한다.

ABSTRACT

We present an approach for aggregating a sparse set of views of an object in order to compute a semi-implicit 3D representation in the form of a volumetric feature grid. Key to our approach is an object-centric canonical 3D coordinate system into which views can be lifted, without explicit camera pose estimation, and then combined -- in a manner that can accommodate a variable number of views and is view order independent. We show that computing a symmetry-aware mapping from pixels to the canonical coordinate system allows us to better propagate information to unseen regions, as well as to robustly overcome pose ambiguities during inference. Our aggregate representation enables us to perform 3D inference tasks like volumetric reconstruction and novel view synthesis, and we use these tasks to demonstrate the benefits of our aggregation approach as compared to implicit or camera-centric alternatives.

연구 동기 및 목표

• 모르는 카메라 자세를 가진 희박한 2D 이미지 세트로부터 3D 재구성을 해결하는 것, 특히 온라인 제품 마켓플레이스에서 1~4개의 뷰가 있는 상황을 대상으로 한다.
• 카메라 중심 및 완전히 암시적인 방법의 한계를 극복하기 위해 기하학적 인덕티브 바이어스를 내재한 객체 중심의 3D 좌표계를 도입하는 것.
• 객체 대칭성을 활용하여 특징 전파를 향상시키고 자세의 모호함을 해소함으로써 카메라 자세 추정 없이도 견고한 뷰 집합을 가능하게 하는 것.
• 학습 가능한 잠재 특징을 가진 바이트라이즈드 격자와 결합된 반암시적 3D 표현을 개발하여 최종 3D 작업에 대해 엔드 투 엔드 학습을 가능하게 하는 것.
• 암시적 및 카메라 중심 집합 기반의 베이스라인 대비 3D 재구성 및 새로운 뷰 합성 성능 향상을 입증하는 것.

제안 방법

• 입력 이미지에서 각 픽셀의 특징을 추출하기 위해 2D CNN을 사용한 후, 객체 중심의 정준 공간에서 3D 좌표와 신뢰도 맵을 대칭 인식 기반으로 예측한다.
• 각 픽셀에 대해 정준 객체 공간 내의 3D 좌표와 신뢰도 점수를 예측함으로써 기하학적 구조를 유지하면서 2D 특징을 3D 바이트 레벨로 업라이프한다.
• 대칭 인식 기반 업라이프를 통해 관측된 영역의 대칭 상대 영역을 추론함으로써 특징 커버리지가 향상되고 음영 또는 대칭 부분으로 인한 모호함이 감소한다.
• 다양한 뷰에서 업라이프된 특징은 정준 공간에서 평균화를 통해 집합된 후, 3D-UNet을 사용한 후처리를 통해 통합된 반암시적 3D 표현을 생성한다.
• 최종 표현은 작업별 헤드를 통해 체적 재구성 및 새로운 뷰 합성과 같은 후속 작업을 지원한다.
• 전체 파이프라인은 진짜 3D 형상과 벉착된 이미지로부터의 감독을 받으며 엔드 투 엔드로 학습된다.

실험 결과

연구 질문

• RQ1 객체 중심의 3D 좌표계는 명시적 카메라 자세 추정 없이 효과적인 다중 뷰 집합을 가능하게 할 수 있는가?
• RQ2 적은 수의 뷰에서 3D 재구성의 특징 전파와 모호함 감소에 있어 대칭 인식 기반 업라이프는 어떻게 기여하는가?
• RQ3 학습 가능한 바이트 레벨 특징을 가진 반암시적 3D 표현은 암시적 또는 카메라 중심 표현보다 3D 추론 작업에서 더 나은 성능을 내는가?
• RQ4 대칭 인식 기반의 좌표 예측은 재구성 품질과 새로운 뷰 합성의 정확도를 어느 정도 향상시키는가?
• RQ5 비교적 캘리브레이션되지 않은 희박한 뷰와 객체 마스크가 있는 실제 데이터에 대해 이 방법은 얼마나 일반화되는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 3D 재구성 및 새로운 뷰 합성 성능에서 최신 기술 수준을 달성하며, 암시적 및 카메라 중심 기반 베이스라인 대비 낮은 L1 오차를 기록한다.
• 대칭 인식 기반 업라이프의 사용은 재구성 오차를 감소시키고, 특히 1~4개의 뷰만 존재할 경우 일반화 성능을 향상시킨다.
• 기울기 역전파 분석을 통해 모델이 뷰 간 대응하는 픽셀과 대칭 영역에 의존하고 있음을 확인하여 학습된 대응 메커니즘의 타당성을 검증한다.
• 실제 이미지에 대한 정성적 결과, 예를 들어 회전하는 객체나 온라인 제품 이미지에서 정확한 형태 재구성과 자연스러운 새로운 뷰 합성을 보여준다.
• 모든 대칭 업라이프에서 특징을 집합함으로써 대칭 객체의 앞면과 뒷면을 구분하는 자세의 모호함을 효과적으로 해결한다.
• 반암시적 3D 표현은 강력한 기하학적 인덕티브 바이어스를 가진 고해상도 3D 추론을 가능하게 하여, 해상도가 낮은 암시적 특징을 사용하는 방법보다 우수한 성능을 낸다.