[논문 리뷰] Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling

Yiru Shen, Chen Feng외 2명|arXiv (Cornell University)|2017. 12. 19.

3D Shape Modeling and Analysis참고 문헌 37인용 수 43

한 줄 요약

이 논문은 PointNet 기반 아키텍처인 KCNet을 제안하며, 국소 기하학적 구조 탐색을 위한 커널 상관관계와 국소 특징 구조 집약을 위한 그래프 풀링을 도입하여 3D 포인트 클라우드의 의미론적 학습을 향상시킨다. 이는 근접 이웃의 기하학적 구조에 반응하는 학습 가능한 포인트 세트 커널을 커널 상관관계를 통해 학습하고, 최근접 이웃 그래프 위에서 특징을 재귀적으로 집약함으로써 ModelNet40과 ShapeNetPart에서 최신 기술 수준(SOTA)의 성능을 달성하며, PointNet++에 비해 노이즈에 더 강건하고 파라미터 수가 적어진다.

ABSTRACT

Unlike on images, semantic learning on 3D point clouds using a deep network is challenging due to the naturally unordered data structure. Among existing works, PointNet has achieved promising results by directly learning on point sets. However, it does not take full advantage of a point's local neighborhood that contains fine-grained structural information which turns out to be helpful towards better semantic learning. In this regard, we present two new operations to improve PointNet with a more efficient exploitation of local structures. The first one focuses on local 3D geometric structures. In analogy to a convolution kernel for images, we define a point-set kernel as a set of learnable 3D points that jointly respond to a set of neighboring data points according to their geometric affinities measured by kernel correlation, adapted from a similar technique for point cloud registration. The second one exploits local high-dimensional feature structures by recursive feature aggregation on a nearest-neighbor-graph computed from 3D positions. Experiments show that our network can efficiently capture local information and robustly achieve better performances on major datasets. Our code is available at http://www.merl.com/research/license#KCNet

연구 동기 및 목표

• 순서가 없는 3D 포인트 클라우드에서 미세한 국소 기하학적 및 특징 구조를 포착하는 데에 PointNet의 한계를 해결하기 위해.
• 아키텍처 복잡도를 증가시키지 않으면서도 명확한 기하학적 해석을 가진 효율적이고 학습 가능한 연산을 개발하기 위해.
• 새로운 딥 러닝 연산을 통해 국소 이웃 패턴을 활용하여 3D 포인트 클라우드의 의미론적 학습 성능을 향상시키기 위해.

제안 방법

• 기하학적 유사도를 측정하는 커널 상관관계를 통해 한 점의 K개의 최근접 이웃에 대해 공동으로 반응하는 학습 가능한 포인트 세트 커널을 정의하는 커널 상관관계 레이어를 도입한다.
• 포인트 클라우드 정렬에서 유도된 미분 가능한 유사도 측정 방법인 커널 상관관계를 사용하여, 한 점의 이웃과 학습 가능한 커널 간의 유사도를 계산함으로써, 모서리, 가장자리, 표면과 같은 복잡한 국소 구조를 포착한다.
• 3D 유클리드 거리 기반으로 사전에 계산된 최근접 이웃 그래프 위에서 그래프 풀링을 적용하여, 국소 고차원 특징 구조를 유지하는 재귀적 특징 집약을 가능하게 한다.
• 커널 상관관계와 그래프 풀링을 수정된 PointNet 아키텍처에 통합하며, 특징 연결과 ReLU/소프트맥스 활성화 함수를 사용하지만 배치 정규화(BatchNorm)는 생략하여 단순성을 확보한다.
• 순열 불변성을 확보하기 위해 최대 풀링을 통해 대칭 함수를 활용하며, 성능과 속도 면에서 우수한 성능을 보인 점을 고려해 평균 풀링보다 그래프 최대 풀링을 선택한다.
• 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 훈련하며, 과적합을 방지하기 위해 드롭아웃은 최종 MLP 레이어에만 적용한다.

실험 결과

연구 질문

• RQ1 커널 상관관계를 통한 기하학적 유사도를 갖는 학습 가능한 포인트 세트 커널이 포인트 클라우드 내에서 평면, 가장자리, 모서리와 같은 복잡한 국소 3D 구조를 효과적으로 포착할 수 있는가?
• RQ2 그래프 풀링을 통한 국소 특징 구조 통합이 PointNet의 각 점 특징 학습을 넘어서 의미론적 표현을 향상시키는가?
• RQ3 기본적인 3D 포인트 클라우드 벤치마크에서 PointNet과 PointNet++에 비해 성능 및 강건성 면에서 제안된 방법은 어떻게 비교되는가?
• RQ4 L, M, σ와 같은 하이퍼파rameter가 모델의 정확도와 일반화 능력에 크게 영향을 미치는가? 최적의 값은 무엇인가?
• RQ5 특정한 노이즈가 입력에 첨가되었을 때, 모델이 얼마나 강건한가? 특히 무작위로 손상된 점들이 포함된 경우에 대해 어느 정도의 강건성을 유지하는가?

주요 결과

• KCNet은 ModelNet40 테스트 세트에서 91.0%의 정확도를 달성하여, 원시 PointNet(87.2%)를 능가하고 표면 법선이 없는 원시 포인트 클라우드만을 사용함에도 불구하고 PointNet++과 동등하거나 슈퍼어리어를 기록한다.
• 커널 상관관계 레이어만으로도 정확도가 90.5%까지 향상되어, 단순한 점 특징을 넘어서 국소 기하학적 구조를 효과적으로 포착함을 입증한다.
• 그래프 최대 풀링은 평균 풀링보다 약간의 개선(88.6% 대 88.0%)을 보이며, 빠른 처리 속도와 노이즈에 대한 강건성 면에서도 뛰어나다.
• 커널 상관관계와 그래프 풀링을 모두 포함한 KCNet의 전체 모델은 91.0%의 정확도를 달성하여, 양자간의 보완적 이점이 있음을 확인한다.
• KCNet은 무작위 노이즈에 훨씬 더 강건하다: 10%의 점이 노이즈로 교체될 경우, KCNet의 정확도는 23.8% 감소(67.2%로 떨어짐)에 그치지만, PointNet의 경우 58.6% 감소(30.6%로 떨어짐)를 보였다.
• 제거 분석 결과, 최적의 구성은 L=32개의 커널, M=16개의 커널 포인트, σ=5e-3로 성능과 일반화 능력의 균형을 이룬다.