[논문 리뷰] PPF-FoldNet: Unsupervised Learning of Rotation Invariant 3D Local Descriptors

Haowen Deng, Tolga Birdal외 1명|arXiv (Cornell University)|2018. 08. 30.

3D Shape Modeling and Analysis참고 문헌 40인용 수 18

한 줄 요약

PPF-FoldNet는 원시 포인트 클라우드에서 직접 분류 가능하고 희박하며 순열 불변인 특징을 학습하는 비지도, 회전 불변 3D 局부 기술자 네트워크를 제안한다. 이는 점 쌍 특징(PPFs)과 접기 기반 오토에인코더를 활용한다. 감독 없이 기준 프레임에 의존하지 않음에도 불구하고, 표준 벤치마크에서 경쟁자 대비 9% 높은 재현율을 기록하고, 포인트 밀도가 감소할 경우 35% 이상 높은 성능을 달성한다.

ABSTRACT

We present PPF-FoldNet for unsupervised learning of 3D local descriptors on pure point cloud geometry. Based on the folding-based auto-encoding of well known point pair features, PPF-FoldNet offers many desirable properties: it necessitates neither supervision, nor a sensitive local reference frame, benefits from point-set sparsity, is end-to-end, fast, and can extract powerful rotation invariant descriptors. Thanks to a novel feature visualization, its evolution can be monitored to provide interpretable insights. Our extensive experiments demonstrate that despite having six degree-of-freedom invariance and lack of training labels, our network achieves state of the art results in standard benchmark datasets and outperforms its competitors when rotations and varying point densities are present. PPF-FoldNet achieves $9\%$ higher recall on standard benchmarks, $23\%$ higher recall when rotations are introduced into the same datasets and finally, a margin of $>35\%$ is attained when point density is significantly decreased.

연구 동기 및 목표

• 감독 없이 기준 프레임을 필요로 하지 않는 강력하고 분류 가능한 3D 포인트 클라우드 기하학 기술자 부족 문제를 해결하기 위해.
• 기존 딥 러닝 기반 3D 특징 방법의 한계를 극복하기 위해, 6-DoF 변환에 민감하거나 수작업 전처리에 의존하는 문제를 해결하기 위해.
• 다양한 포인트 밀도와 임의의 회전 조건에서도 잘 일반화되는 빠르고 종단 간(end-to-end)이며 해석 가능한 네트워크를 개발하기 위해.
• 희박한 포인트 집합의 기하학적 구조만을 사용하여 강력하고 회전 불변의 局부 특징을 비지도로 학습할 수 있도록 하기 위해.

제안 방법

• 점 쌍 간의 상대적 위치와 법선을 인코딩하는 4차원 점 쌍 특징(PPFs)을 사용해 국소 3D 기하학을 표현한다.
• PointNet 기반 인코더를 활용해 PPF를 저차원 코드워드로 압축함으로써 순열 불변성과 희박성 인식을 보장한다.
• FoldingNet 기반 디코더를 사용해 2D 격자 접기 기법을 4D PPF 공간에 적용하여 원래 PPF를 복원한다.
• 쌍 또는 트리플릿 애너테이션 없이도 비지도 학습이 가능하도록, 세트 거리 손실을 사용해 오토에인코더를 종단 간(end-to-end)으로 훈련시킨다.
• 학습 진행 상황 모니터링과 특징 진화 해석을 위해 PPF 공간의 새로운 손실 없는 시각화 기법을 도입한다.
• 학습된 잠재 공간을 T-SNE를 통해 시각화하여 기하학적 유사성 기반으로 의미 있는 코드워드 군집화가 이루어졌음을 입증한다.

실험 결과

연구 질문

• RQ1 PPF만으로 훈련된 딥 오토에인코더가 어떤 감독 없이도 회전 불변 3D 국소 기술자를 학습할 수 있는가?
• RQ2 PPF-FoldNet은 감독받는 방법과 회전 민감한 기준 대비, 임의의 6-DoF 변환과 다양한 포인트 클라우드 밀도 조건에서 어떻게 성능을 내는가?
• RQ3 학습된 기술자가 다양한 파편과 기하학적 구성 조건에서 얼마나 잘 일반화되는가?
• RQ4 PPF 공간의 내부 표현을 어떻게 비주얼라이제이션할 수 있으며, 이는 훈련 중 의미 있는 기하학적 진화를 드러내는가?

주요 결과

• 표준 조건에서 표준 3D 벤치마크 데이터셋에서 PPF-FoldNet은 SOTA 기법 대비 9% 높은 재현율을 기록한다.
• 시험 데이터에 임의의 회전이 적용되었을 경우, PPF-FoldNet은 가장 가까운 경쟁자 대비 재현율 23% 향상된다.
• 포인트 밀도가 크게 감소한 조건에서, PPF-FoldNet은 기존 방법 대비 35% 이상 높은 재현율을 확보한다.
• T-SNE로 시각화한 네트워크의 잠재 공간은 기하학적으로 유사한 패치들이 서로 가까이 위치해 있음을 보여주며, 의미 있는 특징 학습이 이루어졌음을 확인한다.
• 새로운 PPF 시각화 기법은 네트워크가 무작위 초기화 상태에서조차도 PPF 서명을 충실하게 재구성함을 드러내며, 빠른 수렴을 보인다.
• 정성적 매칭 결과는 PPF-FoldNet이 모든 다른 방법보다 더 많은 정확한 대응 관계를 발견함을 보여주며, 특히 극심한 변환 조건에서도 뛰어난 성능을 발휘한다.