[논문 리뷰] Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image

Xiaoguang Han, Zhaoxuan Zhang외 8명|arXiv (Cornell University)|2019. 03. 10.

Advanced Vision and Imaging참고 문헌 55인용 수 9

한 줄 요약

이 논문은 단일 깊이 영상에서 3D 포인트 스캔 복구를 위해 볼륨 가이드 기반의 점진적 다중 시점 보간 기반의 딥 강화 학습 프레임워크를 제안한다. DQN 정책를 통해 3D 볼륨 복원, 2D 깊이 맵 보간, 시점 선택을 동시에 최적화함으로써, 정확도와 완전성 측면에서 기존 방법들을 크게 능가하는 최신 기술 수준의 성능을 달성하였다. SUNCG 데이터셋에서의 실험 결과가 이를 뒷받침한다.

ABSTRACT

We present a deep reinforcement learning method of progressive view inpainting for 3D point scene completion under volume guidance, achieving high-quality scene reconstruction from only a single depth image with severe occlusion. Our approach is end-to-end, consisting of three modules: 3D scene volume reconstruction, 2D depth map inpainting, and multi-view selection for completion. Given a single depth image, our method first goes through the 3D volume branch to obtain a volumetric scene reconstruction as a guide to the next view inpainting step, which attempts to make up the missing information; the third step involves projecting the volume under the same view of the input, concatenating them to complete the current view depth, and integrating all depth into the point cloud. Since the occluded areas are unavailable, we resort to a deep Q-Network to glance around and pick the next best view for large hole completion progressively until a scene is adequately reconstructed while guaranteeing validity. All steps are learned jointly to achieve robust and consistent results. We perform qualitative and quantitative evaluations with extensive experiments on the SUNCG data, obtaining better results than the state of the art.

연구 동기 및 목표

• 심한 가림이 있는 단일 깊이 영상으로부터 고품질의 3D 포인트 클라우드를 복원하는 문제를 해결하기 위해.
• 기존의 분류-검색 및 2D/3D 네트워크 융합 방법이 불완전한 입력과 낮은 일반화 능력으로 인해 겪는 한계를 극복하기 위해.
• 오차 누적을 최소화하기 위해 동적으로 최적의 시점 선택 전략을 적용하는 점진적이고 시점 인식 기반의 복구 전략을 개발하기 위해.
• 전역 일관성과 복원 품질 향상을 위해 3D 볼륨적 맥락을 2D 보간에 통합하기 위해.
• 엔드 투 엔드 딥 강화 학습을 통해 3D 복원, 2D 보간, 시점 경로 계획을 동시에 최적화하기 위해.

제안 방법

• 이 방법은 입력 깊이 맵에서 볼륨 가이드를 생성하기 위해 3D 볼륨 복원 브랜치를 사용한다.
• 다중 시점 컨volution 신경망(MVCNN)은 현재 포인트 클라우드 상태를 기반으로 다음 최적의 시점을 선택하는 DQN 정책을 근사한다.
• 볼륨 가이드 기반의 2D 보간 네트워크는 저해상도 3D 볼륨 특징과 2D 깊이 맵 입력을 융합하여 전역 맥락 이해를 향상시킨다.
• 2D 보간 네트워크는 3D 스트림으로의 역전파 손실을 통해 양 브랜치의 공동 최적화를 가능하게 한다.
• 복구된 2D 깊이 픽셀은 다중 반복 동안 3D 포인트로 재투영되어 전역 포인트 클라우드에 통합된다.
• DQN 에이전트는 정확도(정답과의 거리)와 구멍 메꾸기 효율성(누락 영역 감소)을 조합한 조밀한 보상 함수를 사용하여 훈련된다.

실험 결과

연구 질문

• RQ1 딥 강화 학습 정책이 점진적 3D 스캔 복원을 위해 최적의 시점 순서를 효과적으로 선택할 수 있는가?
• RQ2 3D 볼륨 특징을 통합함으로써, 가림 영역에서 2D 깊이 맵 보간 품질이 어떻게 향상되는가?
• RQ3 3D 및 2D 네트워크의 공동 최적화가 분리된 접근 방식보다 더 높은 복원 정확도와 완전성을 달성하는가?
• RQ4 시점 순서의 선택이 오차 누적과 최종 복원 품질에 어떤 영향을 미치는가?
• RQ5 볼륨 가이드 기반의 다중 시점 보간 전략이 단일 시점 또는 균일하게 샘플링된 시점 방법보다 우수한가?

주요 결과

• 제안된 방법은 SUNCG 데이터셋에서 최고의 성능을 기록하였으며, 임계값 0.10에서 완전성 지표가 0.942로 기존 최신 기술 수준의 방법들을 크게 능가하였다.
• 볼륨 가이드 기반의 2D 보간 네트워크는 PSNR 24.73과 SSIM 0.930을 기록하여, 볼륨 가이드 또는 역전파 없이 제거된 아블레이션 변형보다 열등한 품질을 보였다.
• DQN 기반의 시점 경로 계획은 균일 샘플링 대비 오차 누적을 줄였으며, U_10(10개 시점)의 결과는 학습된 정책보다 열 劣하다.
• 아블레이션 연구를 통해 볼륨 가이드와 엔드 투 엔드 역전파가 모두 필수적임을 확인하였다: 볼륨 가이드 제거 시 PSNR는 1.58 감소하고 SSIM은 0.02 감소하였다.
• 시각적 비교 결과, 복잡한 가림 영역에서 SSCNet 및 기타 베이스라인 대비 더 많은 표면 세부 정보와 누락된 포인트를 복원하는 것으로 나타났다.
• 이 방법은 Chamfer Distance(CD) 0.0048을 기록하여 비교된 모든 방법 중에서 가장 낮아 기하학적 정확도가 뛰어났다.