[논문 리뷰] LSANet: Feature Learning on Point Sets by Local Spatial Aware Layer

Lin-Zhuo Chen, Xuanyi Li외 4명|arXiv (Cornell University)|2019. 05. 14.

3D Shape Modeling and Analysis참고 문헌 28인용 수 24

한 줄 요약

LSANet는 국소 점군 영역에서 계층적으로 공간 분포 가중치(SDWs)를 학습하는 국소 공간 인식(LSA) 레이어를 도입하여 기하학적 특징 학습을 향상시킨다. 공유된 MLP와 SDWs를 통합함으로써 LSANet는 이전 방법들보다 더 강력하게 미세 구조적 공간 구조를 포착할 수 있으며, 1024개의 점만을 사용하여 ModelNet40에서 93.2%의 정확도를 달성하여 동일 조건에서 최신 기술을 초월한다.

ABSTRACT

Directly learning features from the point cloud has become an active research direction in 3D understanding. Existing learning-based methods usually construct local regions from the point cloud and extract the corresponding features. However, most of these processes do not adequately take the spatial distribution of the point cloud into account, limiting the ability to perceive fine-grained patterns. We design a novel Local Spatial Aware (LSA) layer, which can learn to generate Spatial Distribution Weights (SDWs) hierarchically based on the spatial relationship in local region for spatial independent operations, to establish the relationship between these operations and spatial distribution, thus capturing the local geometric structure sensitively.We further propose the LSANet, which is based on LSA layer, aggregating the spatial information with associated features in each layer of the network better in network design.The experiments show that our LSANet can achieve on par or better performance than the state-of-the-art methods when evaluating on the challenging benchmark datasets. For example, our LSANet can achieve 93.2% accuracy on ModelNet40 dataset using only 1024 points, significantly higher than other methods under the same conditions. The source code is available at https://github.com/LinZhuoChen/LSANet.

연구 동기 및 목표

• 기하학적 패턴을 미세하게 포착하지 못하는 기존 점군 네트워크의 한계를 해결하기 위해 공간적으로 독립적인 특징 연산에 기인한 문제를 해결한다.
• 국소 점 영역의 공간 분포를 명시적으로 모델링하는 학습 가능한 모듈을 설계하여 기하학적 인식 능력을 향상시키는 것.
• 제안된 LSA 레이어를 사용하여 공간 정보와 특징 정보를 계층적으로 통합하는 깊은 네트워크 아키텍처를 개발하는 것.
• 샘플링 밀도와 기하학적 변환에 민감도가 낮은 조건에서도 최신 기술 성능을 달성하는 것.

제안 방법

• LSA 레이어는 개별 점 벡터에 의존하는 대신 국소 점 영역의 전체 공간 구성에 기반하여 공간 분포 가중치(SDWs)를 생성한다.
• SDWs는 각 국소 이웃 내에서의 전반적인 공간 관계를 포착하는 지역 공간 인코더를 통해 학습된다.
• SDWs는 공유된 다층 퍼셉트론(MLP)과 통합되어 공간에 민감한 특징 학습을 수행함으로써 기하학적 구조에 민감한 연산을 가능하게 한다.
• SFE(샘플링 및 특징 인코딩) 레이어는 공간 좌표를 더 높은 차원의 표현으로 변환하여 특징 차원과 더 잘 정렬한다.
• 다중 LSA 및 SFE 레이어를 사용한 계층적 설계를 통해 깊고 공간에 민감한 특징 표현을 구축한다.
• LSA 레이어를 통해 SDW 통합을 포함한 최대 풀링을 가능하게 하여 가장 공간적으로 대표적인 특징을 선택할 수 있다.

실험 결과

연구 질문

• RQ1 학습 가능한 공간 가중치 메커니즘이 점군 네트워크의 기하학적 특징 학습을 향상시킬 수 있는가?
• RQ2 국소 영역의 전체 공간 분포를 모델링할 경우 기하학적 변환에 대한 강건성이 어떻게 향상되는가?
• RQ3 LSA 레이어가 공간 무관 기반 방법에 비해 3차원 분류 및 분할 작업에서 성능을 얼마나 향상시키는가?
• RQ4 LSANet는 점군의 밀도와 입력 크기가 변할 경우 어떻게 성능을 발휘하는가?

주요 결과

• LSANet는 1024개의 입력 점만을 사용하여 ModelNet40 데이터셋에서 93.2%의 정확도를 달성하여 동일 조건에서 이전 최신 기술을 초월한다.
• 제거 실험 결과 LSA 레이어가 1.1%의 정확도 향상을 기여하며, 지역 공간 인코더와 SDW 통합 최대 풀링이 성능 향상에 기여하는 것으로 확인된다.
• LSANet는 다양한 점 밀도에서도 우수한 성능을 유지하며, 64개 점에서도 안정된 정확도를 보여 희소 입력에 강건함을 입증한다.
• 분할 작업에서 LSANet는 ShapeNet, ScanNet, S3DIS 데이터셋에서 PointNet++, SpecGCN, SpiderCNN를 모두 초월한다.
• 분류 작업에선 230만 개의 파라미터를 가지며, 분할 작업에선 230만 개 이하로 유지되며, 추론 시간은 0.060초로 SpiderCNN보다 빠르고 PointNet++과 유사하다.
• SDWs의 시각화 결과 채널별 방향성 선호도가 확인되어, 모듈이 미세 구조적 기하학적 패턴을 효과적으로 인식하고 있음을 확인한다.