[논문 리뷰] Conditional Single-view Shape Generation for Multi-view Stereo Reconstruction

Yi Wei, Shaohui Liu외 3명|arXiv (Cornell University)|2019. 04. 14.

Advanced Vision and Imaging참고 문헌 51인용 수 10

한 줄 요약

이 논문은 단일 시각 3D 형태 복원을 위한 조건부 생성 모델을 제안하며, 무작위 잠재 벡터를 통해 형태의 불확실성을 모델링함으로써 음영을 해결한다. 다중 시각 복원을 각 시각에서 생성된 형태 공간의 교차로 공식화하고, 미분 가능한 제약 조건(전면, 다양성, 일관성)을 사용함으로써, ShapeNetCore에서 최신 기술 수준의 3D 복원 정확도를 달성하며, 실제 데이터에 잘 일반화된다.

ABSTRACT

In this paper, we present a new perspective towards image-based shape generation. Most existing deep learning based shape reconstruction methods employ a single-view deterministic model which is sometimes insufficient to determine a single groundtruth shape because the back part is occluded. In this work, we first introduce a conditional generative network to model the uncertainty for single-view reconstruction. Then, we formulate the task of multi-view reconstruction as taking the intersection of the predicted shape spaces on each single image. We design new differentiable guidance including the front constraint, the diversity constraint, and the consistency loss to enable effective single-view conditional generation and multi-view synthesis. Experimental results and ablation studies show that our proposed approach outperforms state-of-the-art methods on 3D reconstruction test error and demonstrate its generalization ability on real world data.

연구 동기 및 목표

• 단일 시각 3D 복원의 근본적인 한계를 해결하기 위해, 음영으로 인해 결정론적 모델이 전체 형태를 정확히 추론하지 못하는 문제를 해결한다.
• 무작위 잠재 벡터에 조건부된 조건부 생성 네트워크를 학습시켜 단일 시각 복원에서 형태의 불확실성을 모델링한다.
• 단일 시각 조건부 모델을 다중 시각 스테레오 복원으로 확장하기 위해, 각 시각에서 예측된 형태 공간의 교차로 공식화한다.
• 전면, 다양성, 일관성 등의 미분 가능한 제약 조건을 도입하여 복원 정확도를 향상시키고 실제 데이터에 대한 일반화 능력을 높인다.
• 사전 渲染된 깊이 이미지와 카메라 자세 외에 3D 레이블이 명시적으로 필요로 하지 않는 최신 기술 수준의 성능을 달성한다.

제안 방법

• 지표 형태가 가능한 형태 공간에서의 하나의 샘플로 간주되므로, 부분적으로 감독된 설정에서 조건부 생성 네트워크를 학습시킨다.
• 미분 가능한 전면 제약 조건은 생성된 형태의 전면 부분이 입력 이미지의 투영된 깊이와 일치하도록 보장하여 학습 중 기울기 전파를 가능하게 한다.
• 다양성 제약 조건은 서로 다른 잠재 벡터를 샘플링하여 다수의 가능성이 있는 형태를 생성하도록 유도함으로써 형태 공간의 커버리지 확장을 도모한다.
• 다중 시각 복원을 위해, 최종 형태를 각 시각에서 예측된 형태 공간의 교차로 간주하고, 쌍체 거리 측정을 사용해 일관성을 확보한다.
• 각 시각의 조건부 모델의 잠재 벡터에 대해 온라인 최적화를 수행하여 예측을 정밀화하고 다중 시각 일관성을 강제한다.
• 최적화 후 다중 시각 포인트 클라우드 결과를 연결하여 최종 3D 형태를 확보한다.

실험 결과

연구 질문

• RQ1 무작위 잠재 벡터에 기반한 조건부 생성 모델은 음영 상황에서 단일 시각 3D 복원의 형태 불확실성을 효과적으로 모델링할 수 있는가?
• RQ2 다중 시각 스테레오 복원은 각 시각에서 생성된 형태 공간의 교차로 어떻게 공식화할 수 있는가?
• RQ3 조건부 생성을 안내하고 다중 시각 일관성을 확보하는 데 가장 효과적인 미분 가능한 제약 조건은 무엇인가?
• RQ4 제안된 방법은 합성 데이터셋을 초월해 실제 세계의 비대칭적이고 복잡한 형태로 일반화되는가?
• RQ5 일관성 손실을 최소화하는 정도가 3D 복원 정확도 향상과 얼마나 관련이 있는가?

주요 결과

• 제안된 방법은 ShapeNetCore 데이터셋에서 최신 기술 수준의 3D 복원 테스트 오차를 달성하였으며, Chamfer Distance (CD)는 3.37, Hausdorff Distance (HD)는 4.08을 기록했다.
• 일관성 손실은 복원 오차와 강한 정적 상관관계를 보이며, 이를 최소화할수록 CD 지표가 일관되게 감소함을 확인했다.
• 제거 실험 결과, 이중 학습, 다양성 제약 조건, 일관성 손실 모두 성능 향상에 기여하는 것으로 확인되었다.
• 모델은 실제 세계 데이터에 효과적으로 일반화되며, Stanford Online Products 데이터셋에서 비대칭 물체에서 대칭 우선 기반 방법을 능가하는 성능을 보였다.
• 잠재 벡터에 대한 온라인 최적화를 통해 히우리스틱 초기화 대비 성능 향상을 달성하였으며, CD는 1.40에서 1.40(based on bp)로, HD는 7.76에서 2.80으로 감소하였다.
• 전면 제약 조건은 효과적인 기울기 전파를 가능하게 했으며, 렌더링에서 비가역적인 양자화로 인해 투영 손실은 수렴하지 못했다.