[논문 리뷰] Learning Shape Priors for Single-View 3D Completion and Reconstruction

Jiajun Wu, Chengkai Zhang외 4명|arXiv (Cornell University)|2018. 09. 13.

Advanced Vision and Imaging참고 문헌 51인용 수 13

한 줄 요약

이 논문은 단일 뷰 3D 색상 복원 및 재구성 성능을 햖थ기 위해 적대적으로 학습된 형태 사전을 통합한 딥 생성 모델인 ShapeHD를 제안한다. 실제가 아닌 형태에 대해서만 페널티를 주고 진짜 레이블에서의 편차는 고려하지 않음으로써, 구조적 모호성과 뿌연 평균 형태 경향성을 모두 극복하며, 100ms 이내의 추론 시간에 고해상도이고 세밀한 재구성을 달성하여 최신 기술 수준을 넘어서는 성능을 보인다.

ABSTRACT

The problem of single-view 3D shape completion or reconstruction is challenging, because among the many possible shapes that explain an observation, most are implausible and do not correspond to natural objects. Recent research in the field has tackled this problem by exploiting the expressiveness of deep convolutional networks. In fact, there is another level of ambiguity that is often overlooked: among plausible shapes, there are still multiple shapes that fit the 2D image equally well; i.e., the ground truth shape is non-deterministic given a single-view input. Existing fully supervised approaches fail to address this issue, and often produce blurry mean shapes with smooth surfaces but no fine details. In this paper, we propose ShapeHD, pushing the limit of single-view shape completion and reconstruction by integrating deep generative models with adversarially learned shape priors. The learned priors serve as a regularizer, penalizing the model only if its output is unrealistic, not if it deviates from the ground truth. Our design thus overcomes both levels of ambiguity aforementioned. Experiments demonstrate that ShapeHD outperforms state of the art by a large margin in both shape completion and shape reconstruction on multiple real datasets.

연구 동기 및 목표

• 단일 뷰 3D 재구성에서의 이중 모호성 문제를 해결하기 위해: 2D 관측에서 3D 형태를 추론하는 것이 불완전한 문제이자, 단일 입력에 대해 다수의 타당하고 현실적인 형태가 존재하는 문제.
• 비결정론적 진짜 레이블로 인해 뿌연 평균 형태 출력을 생성하는 완전히 지도 학습 방법의 한계를 극복하기 위해.
• 실제적이며 세밀한 형태를 평균 형태나 비현실적인 형태보다 선호하는 적대적으로 학습된 자연스러움 사전을 통합하여 3D 형태 복원 및 재구성을 향상시키기 위해.
• 효율적으로 고품질의 세밀한 3D 재구성을 달성하기 위해, 100ms 이내의 추론 시간을 확보하여 실용적 구현에 적합하게 하기 위해.

제안 방법

• ShapeHD는 단일 RGB 또는 깊이 이미지에서 3D 볼륨 메시를 예측하기 위해 깊이 볼륨 컨볼루션 인코더-디코더 네트워크를 사용한다.
• 실제 형태와 비현실적인 형태를 구분하는 적대적 판별자에 의해 학습된 자연스러움 손실을 도입하여 생성자 모델이 타당하고 세밀한 출력을 생성하도록 유도한다.
• 볼륨 단위 재구성 손실(예: 이진 교차 엔트로피 또는 L1)과 적대적 손실을 조합하여 엔드 투 엔드로 훈련함으로써 정확도와 자연스러움을 균형 있게 유지한다.
• 적대적 훈련 구성 요소는 진짜 레이블에서의 편차가 아니라 비현실적인 형태에 대해서만 페널티를 주는 정규화 요소로 작용하여, 두 번째 수준의 모호성을 해결한다.
• 활성화 시각화를 통해 네트워크는 휠, 의자 다리, 항공기 엔진과 같은 물체 부위를 탐지하는 것을 암묵적으로 학습한다.
• 세밀한 형태의 세부 사항은 표준 재구성 손실이 간과하는 볼륨 메시의 작은 고가중 영역에 집중하는 자연스러움 손실을 통해 복원된다.

실험 결과

연구 질문

• RQ1 적대적으로 학습된 형태 사전은 단일 뷰 입력에서의 3D 형태 재구성의 현실성과 세밀함을 향상시킬 수 있는가?
• RQ2 비결정론적 3D 형태 복원 특성을 다룰 때, 모델은 지도 학습 기반 기준 모델에 비해 어떻게 성능을 내는가?
• RQ3 학습된 사전은 평균 형태 출력이 포착하지 못한 세밀한 구조적 세부 사항을 얼마나 잘 복원할 수 있는가?
• RQ4 모델은 다양한 물체 카테고리에 일반화되며, 변형 가능한 부분이나 드문 부분을 효과적으로 다룰 수 있는가?
• RQ5 자연스러움 손실은 훈련 시간 동안 형태 세부 사항의 진화에 어떻게 영향을 미치는가?

주요 결과

• ShapeHD는 ShapeNet 데이터셋에서 32³ 해상도에서 IoU 0.284를 기록하며, 복원 및 재구성 모두에서 최신 기술 수준을 초월한다.
• Pix3D 데이터셋에서 ShapeHD는 Chamfer Distance 0.123을 기록하여, 3D-R2N2(0.239), DRC(0.160), PSGN(0.199)를 크게 앞서며 성능을 뛰어나게 한다.
• 사람의 선호도 연구 결과, OGN 대비 ShapeHD의 재구성이 64.5%의 비율로 선호되었으며, 항공기 사례에서는 59%, 자동차 사례에서는 35%의 선호도를 보였다.
• 특징 맵의 시각화 결과, 네트워크가 자동차 바퀴, 의자 뒷받임, 항공기 엔진과 같은 의미 있는 물체 부위를 탐지하는 것을 확인할 수 있었다.
• 자연스러움 손실은 훈련 시간이 지남에 따라 점진적으로 세밀한 세부 사항을 추가할 수 있도록 유도하며, 형태 진화 시각화에서 이를 확인할 수 있었다. 반면 표준 재구성 손실만으로는 이러한 세부 사항을 복원하지 못한다.
• 실패 사례 분석 결과, 매우 얇은 구조, 변형 가능한 부분(예: 도는 바퀴), 바퀴 위의 고리 같은 드문 특징을 다루는 데에는 한계가 있으며, 형태의 복잡성과 희소성에 민감함을 보였다.