[논문 리뷰] Energy-Based Residual Latent Transport for Unsupervised Point Cloud Completion

Ruikai Cui, Shi Qiu외 3명|arXiv (Cornell University)|2022. 11. 13.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

이 논문은 잔차 샘플링 전략을 도입하여 잔차 기반 잠재 공간 전송 프레임워크를 제안하며, 비지도(point cloud) 복원에 대해 에너지 기반 모델(EBM)을 사용하여 생성 모델링과 불확실성 추정을 가능하게 한다. 이로 인해 EBM와 인코더-디코더 네트워크 간의 엔드 투 엔드 학습이 가능해지고, 최신 기술 수준(SOTA)의 성능을 달성하며 인간의 인지와 일치하는 설명 가능한 불확실성 맵을 생성한다.

ABSTRACT

Unsupervised point cloud completion aims to infer the whole geometry of a partial object observation without requiring partial-complete correspondence. Differing from existing deterministic approaches, we advocate generative modeling based unsupervised point cloud completion to explore the missing correspondence. Specifically, we propose a novel framework that performs completion by transforming a partial shape encoding into a complete one using a latent transport module, and it is designed as a latent-space energy-based model (EBM) in an encoder-decoder architecture, aiming to learn a probability distribution conditioned on the partial shape encoding. To train the latent code transport module and the encoder-decoder network jointly, we introduce a residual sampling strategy, where the residual captures the domain gap between partial and complete shape latent spaces. As a generative model-based framework, our method can produce uncertainty maps consistent with human perception, leading to explainable unsupervised point cloud completion. We experimentally show that the proposed method produces high-fidelity completion results, outperforming state-of-the-art models by a significant margin.

연구 동기 및 목표

• 비지도 포인트 클라우드 복원에서의 결정론적 일대일 매핑의 한계를 해결하기 위해, 형태 복원의 본질적인 다대일 성격을 반영하지 못하는 문제를 해결한다.
• 부분적인 형태의 잠재 코드가 주어졌을 때 완전한 형태의 잠재 코드에 대한 조건부 확률 분포를 학습하여, 비지도 복원에서 생성 모델링을 가능하게 한다.
• 잠재 공간 내 에너지 기반 모델(EBM)과 인코더-디코더 네트워크를 공동으로 학습하는 전략을 개발하여, MCMC 샘플링 과정에서의 역전파 수행 문제를 해결한다.
• 예측 신뢰도를 반영하고 인간의 인지와 일치하는 불확실성 맵을 생성하여 설명 가능한 복원 결과를 제공한다.

제안 방법

• 부분적이고 완전한 포인트 클라우드를 동일한 잠재 공간으로 매핑하기 위해 공통 인코더-디코더 아키텍처를 사용하여 도메인 전이를 가능하게 한다.
• 잠재 공간 내에서 조건부 에너지 기반 모델(EBM)을 정의하여, 부분적 형태 코드가 주어졌을 때 완전한 형태 코드의 확률 분포를 모델링한다.
• 새로운 잔차 샘플링 전략을 도입하여, 직접 완전한 코드를 샘플링하는 대신 부분 잠재 코드를 완전한 것으로 이동시키는 잔차 벡터를 예측하도록 모델을 학습한다.
• 잔차 벡터를 사용하여 랭글레인 역학(Langevin dynamics)의 초기값을 설정함으로써 MCMC 샘플링 과정을 경량화하고 기울기 기반 최적화를 가능하게 한다.
• 잔차 공식화 덕분에 이중 도함수를 피하기 때문에, EBM를 인코더-디코더 네트워크와 함께 역전파를 통해 공동으로 학습할 수 있다.
• 생성자에 대한 적대적 손실을 적용하여 현실적인 완전한 형태를 생성하도록 정규화함으로써 모드 붕괴를 방지하고 입력 부분 형태의 재구성도 막는다.

실험 결과

연구 질문

• RQ1 일대다 성격을 모델링하는 생성 모델링 접근 방식이 비지도 포인트 클라우드 복원 성능을 향상시킬 수 있는가?
• RQ2 MCMC 샘플링의 비가역성 때문에, 잠재 공간 내 에너지 기반 모델(EBM)을 딥 인코더-디코더 네트워크와 공동으로 학습할 수 있는가?
• RQ3 제안된 방법이 의미 있는 예측 신뢰도를 반영하고 인간의 인지와 일치하는 불확실성 맵을 생성할 수 있는가?
• RQ4 잔차 샘플링 전략이 포인트 클라우드 복원 맥락에서 EBM의 효과적이고 안정적인 학습을 가능하게 하는가?

주요 결과

• 제안된 방법은 합성 데이터셋(ShapeNet)과 실세계 데이터셋(KITTI, ScanNet, MatterPort3D) 모두에서 최신 기술 수준(SOTA)의 성능을 달성하며, 기존 비지도 모델들을 능가한다.
• 3D-EPN 데이터셋에서 평균 카프먼 거리(CD)는 12.2 × 10⁻⁴를 기록하여, Cycle4Completion(14.5 × 10⁻⁴)과 ShapeInversion(13.6 × 10⁻⁴)을 뛰어넘었다.
• 모델은 관측 영역 또는 대칭 영역에서는 낮은 불확실성, 비관측 또는 모호한 영역(예: 비행기의 날개, 사라진 테이블 다리 등)에서는 높은 불확실성을 보여주는 불확실성 맵을 생성한다.
• 절단 실험 결과, 에너지 기반 잠재 전송 모듈을 제거하면 평균 CD가 1.4 증가하며, 잔차 샘플링을 생략할 경우 성능 저하가 발생함으로써 이 기법이 학습 안정성에 핵심적인 역할을 한다는 것을 확인했다.
• 적대적 손실을 제거한 경우 성능이 가장 열 劣하므로, 모드 붕괴를 방지하고 재구성보다 복원을 장려하는 데서 중요한 역할을 한다는 점을 확인했다.
• 불확실성 맵은 인간의 인지와 일치하며, 이질적 또는 모호한 기하학적 구조에 대해 더 높은 불확실성을 할당함으로써 모델의 설명 가능성(해석 가능성)을 입증한다.