[논문 리뷰] PPFNet: Global Context Aware Local Features for Robust 3D Point Matching

Haowen Deng, Tolga Birdal외 1명|arXiv (Cornell University)|2018. 02. 07.

Robotics and Sensor-Based Localization참고 문헌 41인용 수 56

한 줄 요약

PPFNet은 점군 매칭을 위해 포인트, 노멀, 및 포인트-페어 특징들을 결합하여 글로벌 컨텍스트를 인식하는 로컬 3D 특징들을 학습하고, 글로벌 컨텍스트를 주입하기 위해 N-tuple 손실을 사용하여 최첨단 재현율과 강인성을 달성한다.

ABSTRACT

We present PPFNet - Point Pair Feature NETwork for deeply learning a globally informed 3D local feature descriptor to find correspondences in unorganized point clouds. PPFNet learns local descriptors on pure geometry and is highly aware of the global context, an important cue in deep learning. Our 3D representation is computed as a collection of point-pair-features combined with the points and normals within a local vicinity. Our permutation invariant network design is inspired by PointNet and sets PPFNet to be ordering-free. As opposed to voxelization, our method is able to consume raw point clouds to exploit the full sparsity. PPFNet uses a novel $ extit{N-tuple}$ loss and architecture injecting the global information naturally into the local descriptor. It shows that context awareness also boosts the local feature representation. Qualitative and quantitative evaluations of our network suggest increased recall, improved robustness and invariance as well as a vital step in the 3D descriptor extraction performance.

연구 동기 및 목표

• 부분/노이즈가 많은 입력에서도 반복 재현 가능한 강력한 로컬 3D 특징을 동기화해 제안한다.
• 원시의 비구조적 포인트 클라우드에서 동작할 수 있는 순열 불변 네트워크를 개발한다.
• 로컬 특징에 글로벌 컨텍스트 정보를 반영해 매칭 성능을 향상시킨다.
• 많은 대 많은 대응을 포착하고 엔드-투-엔드 학습을 유도하기 위한 N-tuple 손실을 제안한다.
• 실제 3D 데이터셋에서 재현율, 속도, 강인성에서 최첨단을 달성한다.

제안 방법

• 로컬 기하를 점들, 법선, 그리고 포인트-페어 특징(PPF)의 집합으로 표현한다.
• 로컬 패치 특징이 글로벌 컨텍스트로 최대풀링되고 다시 로컬로 연결되는 다중 패치의 글로벌 컨텍스트 융합으로 PointNet을 확장한다.
• 정답 있는 패치 대응을 여러 프래그먼트에 걸쳐 촉진하기 위해 대응 행렬과 특징 거리 행렬을 사용하는 일반화된 N-대 N 대조 손실인 N-tuple 손실을 도입한다.
• 전역적으로 정보를 학습하도록 무작위 프래그먼트 쌍과의 대응 관계에서 학습한다.
• RANSAC 기반 파이프라인으로 특징을 평가하고 실제 3DMatch, SUN3D, 7-scenes 데이터셋에서 재현율을 측정한다.

실험 결과

연구 질문

• RQ1 전역 컨텍스트를 로컬 3D 특징에 효과적으로 주입해 부분적이거나 노이즈가 있는 데이터에서도 대응 관계를 개선할 수 있는가?
• RQ2 원시 포인트와 노멀에 포인트-페어 특징을 포함하는 것이 판별력 및 회전 강인성을 개선하는가?
• RQ3 3D 매칭에서 많은 대 많은 패치 대응에 대해 N-튜플 손실이 전통적 쌍/삼중손실보다 효과적인가?
• RQ4 PPFNet은 재현율, 희소성에 대한 강인성, 속도 측면에서 핸드크래프트 및 다른 학습 기반 특징과 비교해 어떤 성능을 보이는가?
• RQ5 로컬 특징 학습에서 글로벌 컨텍스트를 포함하는 것과 기본 PointNet을 사용하는 것의 차이는 무엇인가?

주요 결과

• PPFNet은 RANSAC 이전의 3DMatch 벤치마크에서 수평 재현률에서 핸드크래프트 기준을 능가한다.
• PPFNet은 점 밀도가 감소해도 강인성을 보이며 희소성이 증가할 때 재현율을 더 높게 유지한다.
• 로컬 특징에 글로벌 컨텍스트를 추가하면 vanilla PointNet 기반 대비 학습에서 18%, 검증에서 7%의 매칭 성능 향상을 보인다.
• 포인트-페어 특징의 도입은 PPF 입력을 사용하지 않았을 때보다 측정 가능한 성능 이득을 제공한다.
• PPFNet은 유사한 패치 수에서 3DMatch보다 더 빠른 추론과 중요한 재현율 이점을 달성한다.