[논문 리뷰] Modeling Local Geometric Structure of 3D Point Clouds using Geo-CNN

Shiyi Lan, Ruichi Yu외 2명|arXiv (Cornell University)|2018. 11. 19.

3D Shape Modeling and Analysis참고 문헌 52인용 수 15

한 줄 요약

이 논문은 GeoConv라고 불리는 컨볼루션 유사 연산을 사용하여 국소 기하 구조를 명시적으로 모델링하는 새로운 3D 포인트 클라우드 네트워크인 Geo-CNN을 제안한다. GeoConv는 중심 점과 그 이웃 간의 엣지 특징을 세 개의 수직 기저에 따라 분해한 후, 벡터의 방향에 따라 특징을 집계하여 유클리드 기하학을 유지한다. 이로 인해 ModelNet40(93.4% 정확도)과 KITTI에서 최신 기준 성능을 달성한다.

ABSTRACT

Recent advances in deep convolutional neural networks (CNNs) have motivated researchers to adapt CNNs to directly model points in 3D point clouds. Modeling local structure has been proven to be important for the success of convolutional architectures, and researchers exploited the modeling of local point sets in the feature extraction hierarchy. However, limited attention has been paid to explicitly model the geometric structure amongst points in a local region. To address this problem, we propose Geo-CNN, which applies a generic convolution-like operation dubbed as GeoConv to each point and its local neighborhood. Local geometric relationships among points are captured when extracting edge features between the center and its neighboring points. We first decompose the edge feature extraction process onto three orthogonal bases, and then aggregate the extracted features based on the angles between the edge vector and the bases. This encourages the network to preserve the geometric structure in Euclidean space throughout the feature extraction hierarchy. GeoConv is a generic and efficient operation that can be easily integrated into 3D point cloud analysis pipelines for multiple applications. We evaluate Geo-CNN on ModelNet40 and KITTI and achieve state-of-the-art performance.

연구 동기 및 목표

• 기존 3D 포인트 클라우드 네트워크에서 국소 기하 구조를 명시적으로 모델링하지 못하는 문제를 해결하기 위해.
• 기하 구조 학습을 방해하는 3D 좌표의 변동성을 줄이기 위해.
• 딥 페처 계층 전체에 걸쳐 유클리드 공간 내 기하 관계를 유지하기 위해.
• 특징 수준의 다중 시점 증강을 통한 효율적이고 회전 등변 특징 학습을 가능하게 하기 위해.
• 3D 포인트 클라우드 분류 및 검출 분야에서 최신 기준 성능을 달성하기 위해.

제안 방법

• GeoConv는 반경으로 정의된 중심 점과 그 국소 구형 주변부에 대해 각 점과 그 이웃에 대해 컨볼루션 유사 연산을 적용한다.
• 중심 점과 이웃 간 엣지 특징을 세 개의 수직 기저(x, y, z)에 따라 분해하여 좌표 변동성을 감소시킨다.
• 방향에 연관된 가중치 행렬을 적용하여 각 기저를 따라 특징을 추출한 후, 엣지 벡터와 각 기저 간의 각도에 따라 가중치를 적용해 집계한다.
• 엣지 벡터의 노름으로 엣지 특징을 가중하여 국소 특징을 계산함으로써 기하 구조를 유지한다.
• 수신장이 점점 증가하는 다중 GeoConv 레이어를 계층적으로 스택하고, 순열 불변성을 확보하기 위해 채널별 최대 풀링을 사용한다.
• 각도 재가중을 통해 특징 수준의 다중 시점 증강을 가능하게 하여 입력 증강 없이도 3D 회전을 근사한다.

실험 결과

연구 질문

• RQ1 국소 기하 구조를 명시적으로 모델링하면 3D 포인트 클라우드 표현 학습 성능이 향상되는가?
• RQ2 수직 기저에 따라 엣지 특징을 분해하면 기하 불변성과 성능이 향상되는가?
• RQ3 입력 수준의 데이터 증강에 의존하지 않고도 깊은 페처 계층 전체에 걸쳐 기하 구조를 유지할 수 있는가?
• RQ4 제안된 방법이 기존 모델보다 3D 형태 분류 및 객체 검출에서 뛰어난 성능을 내는가?
• RQ5 특징 수준의 다중 시점 증강이 입력 수준의 증강보다 더 나은 일반화 성능을 달성할 수 있는가?

주요 결과

• Geo-CNN는 ModelNet40 벤치마크에서 93.4%의 정확도를 달성하여 새로운 최신 기준 성능을 수립했다.
• GeoConv의 성능 향상 요인이 모델 복잡도 증가 때문이 아니라는 점은 더 큰 기준 모델을 사용한 추론 분석을 통해 입증되었다.
• 특징 수준의 다중 시점 근사가 ModelNet40에서 Geo-CNN의 정확도를 93.9%로 향상시켜 입력 수준 증강을 초월했다.
• 입력 수준의 다중 시점 증강은 기준 모델과 Geo-CNN 모두 성능을 떨어뜨렸는데, 이는 시점 간 변동성이 높기 때문일 것이다.
• 추론 분석 결과, 벡터 분해를 통한 기하 구조 모델링이 핵심 요소이며, 단지 파rameter 수 증가 때문이 아니라는 점이 확인되었다.
• GeoConv는 각도 기반 집계를 통해 효율적이고 회전 등변 특징 학습을 가능하게 하여 일반화 성능을 향상시켰다.