[논문 리뷰] Learning Local Displacements for Point Cloud Completion

Yida Wang, David Joseph Tan외 2명|arXiv (Cornell University)|2022. 03. 30.

3D Shape Modeling and Analysis인용 수 6

한 줄 요약

이 논문은 인코더-디코더 및 트랜스포머 아키텍처 내에서 세 가지 고유한 레이어—로컬 디스크립터 매칭, 네이버풀링, 특징 인식 업샘플링—을 사용한 새로운 포인트 클라우드 복원 프레임워크를 제안한다. 이 방법은 객체 및 장면 복원 벤치마크에서 최신 기술 수준의 성능을 달성하며, CompleteScanNet에서 3.04의 카멘퍼 거리와 NYU에서 4.38의 카멘퍼 거리를 기록하여 뛰어난 재구성 품질과 세밀한 디테일 보존 능력을 입증한다.

ABSTRACT

We propose a novel approach aimed at object and semantic scene completion from a partial scan represented as a 3D point cloud. Our architecture relies on three novel layers that are used successively within an encoder-decoder structure and specifically developed for the task at hand. The first one carries out feature extraction by matching the point features to a set of pre-trained local descriptors. Then, to avoid losing individual descriptors as part of standard operations such as max-pooling, we propose an alternative neighbor-pooling operation that relies on adopting the feature vectors with the highest activations. Finally, up-sampling in the decoder modifies our feature extraction in order to increase the output dimension. While this model is already able to achieve competitive results with the state of the art, we further propose a way to increase the versatility of our approach to process point clouds. To this aim, we introduce a second model that assembles our layers within a transformer architecture. We evaluate both architectures on object and indoor scene completion tasks, achieving state-of-the-art performance.

연구 동기 및 목표

• 부분 포인트 클라우드에서 3D 형상 복원의 과제를 해결하며, 특히 높은 기하학적 정밀도로 가려진 영역을 복원하는 데 중점을 둔다.
• 기존 포인트 클라우드 처리의 한계를 극복하며, 풀링 과정에서 개별 특징 디스크립터 손실 및 비정규화된 특징 매핑 문제를 해결한다.
• 인코더-디코더 및 트랜스포머 기반 아키텍처에서 학습된 로컬 이동과 적응형 특징 집합을 활용해 복원 품질을 향상시킨다.
• 통합적이고 학습 가능한 프레임워크를 통해 객체 및 의미적 장면 복원 작업 모두에 대해 다양한 고해상도 재구성을 가능하게 한다.

제안 방법

• 기하학적 표현을 향상시키기 위해 포인트 특징을 사전 학습된 로컬 디스크립터 집합과 매칭하는 특징 추출 레이어를 도입한다.
• 최신의 다운샘플링 연산인 네이버풀링을 제안하며, 최대 풀링에서 발생하는 디스크립터 손실을 방지하기 위해 활성도가 가장 높은 특징 벡터를 선택함으로써 개별 특징 벡터를 유지한다.
• 디코더에서 공간적 및 의미적 일관성을 유지하면서 출력 차원을 증가시키는 특징 인식 업샘플링 메커니즘을 설계한다.
• PoinTr를 영감으로 삼은 트랜스포머 기반 아키텍처에 제안된 레이어를 통합하여 장거리 종속성 모델링과 개선된 특징 정제를 가능하게 한다.
• 관측 영역에서부터 가려진 영역으로 향해 목표를 재구성하는 점진적 손실 함수를 활용하여 구조적 정확도를 향상시킨다.
• 백본 및 코arse-to-fine 정밀 조정 파이프라인에서 각 구성 요소의 모듈성과 효과성을 검증하기 위해 믹스앤매치 아블레이션 연구를 실시한다.

실험 결과

연구 질문

• RQ1 표준 최대 풀링 및 글로벌 특징 집합과 비교해, 로컬 특징 매칭과 적응형 풀링이 포인트 클라우드 복원에 어떤 방식으로 기여할 수 있는가?
• RQ2 제안된 레이어가 부분 포인트 클라우드 복원에서 재구성 품질과 세밀한 디테일 복원 능력에 얼마나 기여하는가?
• RQ3 이러한 레이어를 트랜스포머 아키텍처에 통합하면 객체 및 장면 복원 작업 전반에서 성능 향상에 기여할 수 있는가?
• RQ4 가려진 영역을 우선시하는 점진적 손실 함수가 표준 L2 손실과 비교해 최종 재구성 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 CompleteScanNet 데이터셋에서 카멘퍼 거리 3.04를 기록하며, PoinTr(5.08) 및 MSN(7.28)과 같은 이전 최신 기술 수준의 방법들을 능가한다.
• NYU 데이터셋에서는 카멘퍼 거리 4.38을 기록하며, GRNet(5.80), VRCNet(5.45), PoinTr(5.92)를 크게 앞서며 성능을 뛰어나게 한다.
• 아블레이션 연구 결과, 네이버풀링 레이어가 디스크립터 손실을 줄이고 특징 표현을 향상시켜 더 나은 재구성에 기여하는 것으로 확인되었다.
• 제안된 구성 요소를 포함한 트랜스포머 기반 아키텍처가 모든 벤치마크에서 최고의 성능을 기록하며, 모듈식 설계의 효과성을 입증한다.
• γ를 통한 의미적 손실 함수의 적응형 가중치 설정을 제거할 경우 IoU가 7.5–9% 향상되며, 이는 의미적 정확도와 기하학적 정확도를 균형 잡는 데 중요함을 증명한다.
• 믹스앤매치 아블레이션 결과, 제안된 백본은 어떤 코어스-투-파인 전략과도 조합했을 때 다른 백본보다 일관되게 뛰어난 성능을 보이며, 일반화 능력과 모듈성의 타당성을 입증한다.