[논문 리뷰] Local Spectral Graph Convolution for Point Set Feature Learning

Chu Wang, Babak Samari외 1명|arXiv (Cornell University)|2018. 03. 15.

3D Shape Modeling and Analysis참고 문헌 18인용 수 61

한 줄 요약

본 논문은 k-NN 이웃에서의 로컬 스펙트럴 그래프 합성(convolution)을 재귀적 클러스터 풀링과 함께 도입하여 점군(point clouds)의 이웃 특징을 함께 학습하고, PointNet++과 비교해 분류 및 세분화에서 최첨단 결과를 달성한다.

ABSTRACT

Feature learning on point clouds has shown great promise, with the introduction of effective and generalizable deep learning frameworks such as pointnet++. Thus far, however, point features have been abstracted in an independent and isolated manner, ignoring the relative layout of neighboring points as well as their features. In the present article, we propose to overcome this limitation by using spectral graph convolution on a local graph, combined with a novel graph pooling strategy. In our approach, graph convolution is carried out on a nearest neighbor graph constructed from a point's neighborhood, such that features are jointly learned. We replace the standard max pooling step with a recursive clustering and pooling strategy, devised to aggregate information from within clusters of nodes that are close to one another in their spectral coordinates, leading to richer overall feature descriptors. Through extensive experiments on diverse datasets, we show a consistent demonstrable advantage for the tasks of both point set classification and segmentation.

연구 동기 및 목표

• 비선형 3D 점군에서 이웃 구조를 통합하여 강건한 특징 학습을 동기화한다.
• k-NN 이웃에서 독립적인 점별 특징이 아니라 결합 특징을 학습한다.
• 최대 풀링을 재귀적 클러스터 풀링으로 대체하여 다수의 두드러진 로컬 특징을 포착한다.
• 오프라인 사전계산 없이 즉시 그래프를 구성하는 엔드투엔드 학습 가능 프레임워크를 개발한다.

제안 방법

• 각 포인트의 이웃에 대해 로컬 k-NN 그래프를 구축하고 그 라플라시안을 계산한다.
• 이웃 특징의 스펙트럼 표현을 얻기 위해 그래프 푸리에 변환을 적용한다.
• 그래프 푸리에 도메인에서 스펙트럴 필터를 학습하고 공간 도메인으로 되돌린다.
• 스펙트럴 좌표가 비슷한 클러스터 내에서 집계하기 위해 피에들러 벡터에 의해 안내되는 재귀적 스펙트럴 클러스터 풀링으로 최대 풀링을 대체한다.
• 로컬 스펙트럴 합성을 엔드투엔드 학습이 가능한 PointNet++-유사 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 로컬 스펙트럴 그래프 합성이 PointNet++의 전통적인 점별 MLP보다 특징 학습을 개선하는가?
• RQ2 스펙트럴 좌표의 재귀적 클러스터 풀이 표준 최대 풀링보다 다수의 두드러진 로컬 특징을 더 잘 포착하는가?
• RQ3 입력 크기에 대해 확장 가능하고 오프라인 그래프 사전계산 없이 엔드투엔드 학습과 호환되는가?
• RQ4 분류 및 세분화를 위한 일반적인 3D 점군 벤치마크에서 어떤 성능 향상이 관찰되는가?

주요 결과

• 로컬 k-NN 그래프에서의 스펙트럴 그래프 합성은 점별 MLP를 능가한다(예: ModelNet40에서 4l-spec-max 대 4l-pointnet++).
• 재귀적 클러스터 풀링은 최대 풀링보다 추가 이점을 제공하여 분류와 세분화 결과를 모두 향상시킨다.
• 제안된 4l-spec-cp 모델은 ModelNet40, ShapeNet, ScanNet 데이터셋에서 경쟁적이거나 최첨단 결과를 달성한다.
• 이 방법은 이전 방법과 비교하여 3D 형상 벤치마크(McGill Shape Benchmark, ModelNet40) 및 대규모 실내 세분화(ScanNet)에서 개선을 보인다.
• 로컬 그래프의 고유분해에도 불구하고 작은 k로 인해 학습 시간은 PointNet++와 비슷하게 유지된다.