[논문 리뷰] Active Object Reconstruction Using a Guided View Planner

Xin Yang, Yuanbo Wang외 5명|arXiv (Cornell University)|2018. 05. 08.

Robotics and Sensor-Based Localization참고 문헌 11인용 수 7

한 줄 요약

이 논문은 가이드된 뷰 플래너와 순환 인코더-디코더 네트워크를 사용하여 뷰 계획과 3D 재구성 문제를 동시에 최적화하는 통합된 액티브 오브제트 재구성 프레임워크를 제안한다. 3D 볼륨 및 2D 투영 지도를 함께 활용함으로써 모델은 정보량이 많고 구분력 있는 카메라 뷰를 예측하고, 더 많은 뷰를 통해 점차로 재구성 정확도를 향상시킨다. 이로 인해 IoU 및 정보량 증가 측면에서 무작위 및 가장 먼 뷰 기반 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Inspired by the recent advance of image-based object reconstruction using deep learning, we present an active reconstruction model using a guided view planner. We aim to reconstruct a 3D model using images observed from a planned sequence of informative and discriminative views. But where are such informative and discriminative views around an object? To address this we propose a unified model for view planning and object reconstruction, which is utilized to learn a guided information acquisition model and to aggregate information from a sequence of images for reconstruction. Experiments show that our model (1) increases our reconstruction accuracy with an increasing number of views (2) and generally predicts a more informative sequence of views for object reconstruction compared to other alternative methods.

연구 동기 및 목표

• 단일 뷰 입력에서 음영 및 정보 부족 문제로 인해 3D 오브제트 재구성에 있어 정보량이 많고 구분력 있는 뷰를 선택하는 데 도전하는 문제를 해결하기 위해.
• 재구성 품질을 순차적이고 액티브한 정보 획득을 통해 향상시키는 통합된 학습 프레임워크로 뷰 계획과 3D 재구성 문제를 통합하기 위해.
• 3D 볼륨 일관성과 2D 투영 지도를 모두 활용하여 최적의 카메라 시점 선택을 안내하는 뷰 플래너를 개발하기 위해.
• 제안된 방법이 랜덤 및 가장 먼 뷰 기반 모델 대비 더 높은 재구성 정확도와 더 나은 정보량 증가를 달성함을 입증하기 위해.
• 다중 뷰 특징 통합 및 고밀도 3D 예측을 위한 순환 아키텍처의 우수성을 검증하기 위해.

제안 방법

• 정책 네트워크를 사용하여 3D 볼륨 일관성과 2D 투영 일관성 기반으로 물체 주변의 시점 원 위에서 다음 최적의 카메라 아즈임 각도를 예측하는 가이드된 뷰 플래너를 훈련시켰다.
• 순환 인코더-디코더는 순차적인 이미지 특징을 추출하는 순환 2D 인코더와 특징 시퀀스로부터 점차적으로 3D 볼륨을 재구성하는 순환 3D 디코더로 구성된다.
• 예측된 3D 형상과 그 2D 투영 간의 일관성을 보장하기 위해 볼륨 손실($\lambda_v$), 투영 손실($\lambda_p$), 마스크 손실($\lambda_m$)을 통합 지도로 적용하였다.
• 재구성 품질과 볼륨-투영 일관성 기반의 보상 신호를 사용하여 뷰 플래너를 훈련시켰으며, 이는 정보량 증가를 극대화하는 뷰 선택을 장려하였다.
• 모델은 PTN(Yan et al., 2016)과 동일한 데이터 분할 기반으로 ShapeNet 체어 카테고리에서 렌더링된 이미지를 사용하여 훈련 및 평가하였으며, $\lambda_v = 10$, $\lambda_p = 10$, $\lambda_m = 0.04$로 설정하였다.
• 제거 분석에서는 네 가지 네트워크 아키텍처를 비교하였다: R2E-R3D(제안), 2E-R-3D, R2E-3D, 2E-R3D이며, MSE 손실 및 IoU를 기반으로 정량적 평가를 수행하였다.

실험 결과

연구 질문

• RQ1 통합된 학습 프레임워크를 통해 뷰 계획과 3D 재구성 문제를 동시에 최적화하여 재구성 정확도를 향상시킬 수 있는가?
• RQ2 3D 볼륨과 2D 투영에서의 통합 지도가 뷰 선택 품질 및 특징 통합 품질을 어떻게 향상시키는가?
• RQ3 제안된 가이드된 뷰 플래너가 정보량 증가 및 재구성 정밀도 측면에서 랜덤 및 가장 먼 뷰 기반 모델보다 뛰어나게 성능을 내는가?
• RQ4 인코더와 디코더에 순환 아키텍처를 도입함으로써 다중 뷰 특징 통합 및 3D 재구성 성능에 어떤 영향을 미치는가?
• RQ5 뷰의 수가 재구성 정확도에 어떤 영향을 미치며, 뷰 수 증가에 따라 모델이 효과적으로 확장되는가?

주요 결과

• 5개의 뷰를 사용할 경우, R2E-R3D 모델은 비교한 모든 아키텍처 중에서 훈련 세트에서 가장 낮은 MSE 손실(0.012)과 가장 높은 IoU(0.798)를 기록하였다.
• 테스트 세트에서는 R2E-R3D 모델이 IoU 0.605를 기록하여, 2E-R-3D(0.571) 및 R2E-3D(0.542)를 포함한 모든 다른 아키텍처보다 뛰어난 성능을 보였다.
• 더 많은 뷰를 사용할수록 재구성 정확도가 향상되며, 시야 수가 증가함에 따라 IoU가 일관되고 측정 가능한 수준으로 향상됨을 입증하였다.
• 랜덤 및 가장 먼 뷰 기반 모델과 비교해, 동일한 수의 뷰를 사용할 경우 제안된 방법이 훨씬 높은 IoU 값과 낮은 샤논 엔트로피(정보량 증가를 나타냄)를 기록하였다.
• 정성적 결과에서는, 특히 음영과 세부 구조 처리에서 3D-R2N2보다 더 정확하게 복잡한 형태(예: 높은 다양성을 가진 램프)를 재구성하는 것으로 나타났다.
• 제거 분석 결과, 인코더와 디코더 양쪽에 순환 설계가 필수적임을 확인하였으며, R2E-R3D 구성이 모든 지표에서 최고의 성능을 기록하였다.