[논문 리뷰] End-to-End Learning Local Multi-view Descriptors for 3D Point Clouds

Lei Li, Siyu Zhu외 3명|arXiv (Cornell University)|2020. 03. 12.

3D Shape Modeling and Analysis참고 문헌 66인용 수 5

한 줄 요약

이 논문은 3D 포인트 클라우드 로컬 다중시점 기반 기술자에 대한 엔드 투 엔드 딥 러닝 프레임워크를 제안하며, 시각화된 시점들을 최적화하기 위해 미분 가능 렌더러를 사용하고, 주의 기반 특징 융합을 위한 소프트-뷰 풀링 모듈을 도입한다. 이 방법은 3DMatch에서 최고 성능을 기록하며, 실외 환경으로의 일반화 능력도 뛰어나, ETH 벤치마크에서 평균 79.9%의 리콜을 달성한다.

ABSTRACT

In this work, we propose an end-to-end framework to learn local multi-view descriptors for 3D point clouds. To adopt a similar multi-view representation, existing studies use hand-crafted viewpoints for rendering in a preprocessing stage, which is detached from the subsequent descriptor learning stage. In our framework, we integrate the multi-view rendering into neural networks by using a differentiable renderer, which allows the viewpoints to be optimizable parameters for capturing more informative local context of interest points. To obtain discriminative descriptors, we also design a soft-view pooling module to attentively fuse convolutional features across views. Extensive experiments on existing 3D registration benchmarks show that our method outperforms existing local descriptors both quantitatively and qualitatively.

연구 동기 및 목표

• 고정된 수작업으로 설정된 시점의 한계를 해결하기 위해 다중시점 3D 기술자 학습에서 시점을 학습 가능한 파라미터로 만든다.
• 최대 풀링 대체로 주의 기반, 기울기 우호적인 방법을 도입하여 다중 시점 간 특징 융합을 향상시킨다.
• 미분 가능 렌더러를 통해 다중시점 렌더링과 기술자 학습을 함께 최적화할 수 있도록 한다.
• 노이즈, 불완전한 데이터, 저해상도 3D 스캔, 특히 실외 환경에 대한 강건성과 일반화 능력을 향상시킨다.
• 기존의 수작업 기반 및 학습 기반 로컬 기술자들을 초월하는 성능을 3D 정렬 벤치마크에서 확보한다.

제안 방법

• 네트워크 내부에 미분 가능 렌더러를 통합하여 3D 국소 기하 구조를 다중시점 이미지로 투영하며, 시점은 학습 가능한 파라미터로 처리한다.
• 각 렌더링된 시점 패치에서 컨volutional 특징을 추출하기 위해 CNN 백본을 사용한다.
• 각 시점의 특징 맵에 대해 주의 가중치를 계산하는 소프트-뷰 풀링 모듈을 제안하여 적응형 집계를 가능하게 한다.
• 소프트-뷰 풀링 레이어는 최대 풀링 대비 더 나은 기울기 흐름을 가능하게 하여 백프로파게이션 동안 성능 향상을 이룬다.
• 양성 및 음성 점 쌍에 대한 대비 손실을 사용하여 전체 네트워크를 엔드 투 엔드로 최적화한다.
• 학습 중에 렌더링된 시점 패치에 대해 회전 증강을 적용하여 시점 변화에 대한 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 미분 가능 렌더링 파이프라인 내에서 최적화 가능한 시점을 통해 다중시점 표현의 정보량을 향상시킬 수 있는가?
• RQ2 주목적 기반의 소프트-뷰 풀링 메커니즘이 다중시점 3D 기술자에 대한 특징 융합에서 최대 풀링을 능가하는가?
• RQ3 렌더링과 기술자 학습을 함께 최적화하는 엔드 투 엔드 학습 가능한 프레임워크가 실생활의 노이즈, 불완전한 3D 스캔에 더 잘 일반화되는가?
• RQ4 회전 및 다양한 포인트 밀도 조건 하에서 제안된 방법이 최고 수준의 기술자들과 비교해 리콜과 강건성 측면에서 어떻게 성능을 내는가?
• RQ5 시점 선택 전략과 융합 메커니즘이 실외, 저해상도 스캔에 대한 일반화에 미치는 영향은 무엇인가?

주요 결과

• 제안된 방법은 τ₂ = 0.05일 때 ETH 벤치마크에서 평균 79.9%의 리콜을 기록하며, 3DSmoothNet(79.0%)와 LMVCNN(39.7%)를 크게 앞서나간다.
• 3DMatch 벤치마크에서 τ₂ = 0.05일 때 97.5%의 리콜을 기록하여 최대 풀링(96.9%)과 다른 융합 방법들을 능가한다.
• 소프트-뷰 풀링 모듈은 최대 풀링 대비 더 나은 기울기 흐름을 제공하며, 노이즈가 많고 해상도가 낮은 실외 스캔에서 성능 향상을 이룬다.
• 엔드 투 엔드로 최적화된 최적화 가능한 시점은 무작위 샘플링, 클러스터링, 고정된 궤도 배치 규칙보다 더 우수한 일반화 성능을 보인다.
• 기본 차원을 32 이상, 시점 수를 8개 초과로 늘일 경우 성능이 포화 상태에 도달함을 확인하여 최적 설정은 d=32 및 n=8임을 시사한다.
• 실외 환경으로의 일반화 능력이 뛰어나, ETH 데이터셋에서 평균 79.9%의 리콜을 기록하며 실제 스캔에서 발생하는 잡음과 왜곡에 강건함을 입증한다.