[논문 리뷰] Cross-modal Learning for Image-Guided Point Cloud Shape Completion

Emanuele Aiello, Diego Valsesia외 1명|arXiv (Cornell University)|2022. 09. 20.

3D Surveying and Cultural HeritageEarth and Planetary Sciences인용 수 19

한 줄 요약

이 논문은 이미지와 포인트 클라우드 데이터를 공유 잠재 공간에서 교차 어텐션을 통해 융합하는 XMFnet을 제안한다. 이는 이미지 유도 3D 형상 보완을 위한 교차모달 학습 프레임워크이다. 단일 뷰 재구성에 의존하지 않고, 미분 가능 렌더러를 사용한 약한 지도 학습 방식을 도입함으로써 최신 기준 성능을 달성하며, 여러 지도 학습 기반 베이스라인을 능가하고 단모달 최신 기준 모델과도 경쟁 가능하다.

ABSTRACT

In this paper we explore the recent topic of point cloud completion, guided by an auxiliary image. We show how it is possible to effectively combine the information from the two modalities in a localized latent space, thus avoiding the need for complex point cloud reconstruction methods from single views used by the state-of-the-art. We also investigate a novel weakly-supervised setting where the auxiliary image provides a supervisory signal to the training process by using a differentiable renderer on the completed point cloud to measure fidelity in the image space. Experiments show significant improvements over state-of-the-art supervised methods for both unimodal and multimodal completion. We also show the effectiveness of the weakly-supervised approach which outperforms a number of supervised methods and is competitive with the latest supervised models only exploiting point cloud information.

연구 동기 및 목표

• 부분 관측에서의 불완전한 3D 포인트 클라우드 재구성 문제를 보완하기 위해 보조 2D 이미지를 활용하는 데 목적이 있다.
• 단일 뷰 재구성 파이프라인에 의존하지 않고 이미지와 포인트 클라우드 모odal 간 효과적인 융합을 가능하게 하기 위해 목적이 있다.
• 이미지가 미분 가능 렌더러를 통해 지도 신호를 제공하는 약한 지도 학습을 탐색하기 위해 목적이 있다.
• 다양한 시점에서의 보완 정보를 활용하여 보완 품질을 향상시키기 위해 목적이 있다.
• 지도 학습 기반 단모달 및 다모달 최신 기준 방법과 경쟁 가능한 성능을 달성하기 위해 목적이 있다.

제안 방법

• XMFnet는 이미지와 포인트 클라우드 모달의 세밀하고 국소적인 표현을 공유 잠재 공간에서 교차 어텐션 메커니즘을 통해 융합한다.
• 유연한 디코더를 사용하여 다양한 크기의 영역을 보완함으로써 고정된 재구성 제약 조건을 피한다.
• 이미지 공간의 정합성 손실을 계산하기 위해 미분 가능 렌더러를 사용하여 약한 지도 학습을 가능하게 한다.
• 약한 지도 학습 손실은 미분 가능 카메론 거리(DCD)와 렌더링 기반 일致성 손실을 조합하여 형상 품질 향상과 수렴 개선을 도모한다.
• 공정한 비교를 위해 단모달 변형에서는 교차 어텐션을 자기 어텐션으로 대체한다.
• 형상 완전성과 일반화 성능 향상을 위해 Mixup 데이터 증강 기법을 적용한다.

실험 결과

연구 질문

• RQ1 잠재 공간에서의 교차 어텐션 기반 융합이 이미지 유도 포인트 클라우드 보완에서 단일 뷰 재구성 기반 융합보다 우수한 성능을 낼 수 있는가?
• RQ2 미분 가능 렌더러를 사용한 약한 지도 학습 방식이 지도 학습 방법과 비교해 유사한 성능을 달성할 수 있는가?
• RQ3 보조 이미지의 뷰포인트는 보완 품질에 어떤 영향을 미치며, 보완된 뷰포인트들은 결과를 향상시킬 수 있는가?
• RQ4 미분 가능 렌더링 손실과 DCD 구성 요소는 수렴과 형상 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 노이즈와 가림이 존재하는 실세계 시나리오에 일반화될 수 있는가?

주요 결과

• 제안된 XMFnet 모델은 지도 학습 및 약한 지도 학습 설정 모두에서 ShapeNetViPC-Dataset에서 최신 기준 성능을 달성한다.
• 약한 지도 학습 방법은 여러 지도 학습 기반 베이스라인을 능가하며, 최신 단모달 지도 학습 모델과도 경쟁 가능하다.
• 미분 가능 렌더링 손실의 추가로 더 빠르고 부드러운 학습 수렴이 이루어지고, 정량적·정성적 결과 모두가 향상된다.
• DCD 구성 요소는 질적 비교를 통해 형상의 균일성과 총합 품질을 크게 향상시킴을 보여준다.
• 렌더링 손실이 있는 경우 CD는 3.743으로 측정되었고, 없는 경우는 7.812로 측정되어 정량적 성능 향상이 뚜렷하게 나타났다.
• 일부 이미지 뷰포인트는 다른 뷰포인트보다 훨씬 더 우수한 지도 신호를 제공하며, 일부 '나쁜' 뷰는 단모달 성능과 유사한 결과를 낳는다.