[논문 리뷰] Rotation Invariant Point Cloud Classification: Where Local Geometry Meets Global Topology

Chen Zhao, Jiaqi Yang외 4명|arXiv (Cornell University)|2019. 11. 01.

3D Shape Modeling and Analysis참고 문헌 51인용 수 22

한 줄 요약

이 논문은 주어진 점군 분류 작업에서 국소 기하 특징과 전역 위상 보존 표현을 주의 기반 융합 모듈을 통해 융합함으로써 회전 불변성을 달성하는 이중 브랜치 딥 러닝 프레임워크인 LGR-Net을 제안한다. 이 방법은 ModelNet40, ShapeNet, ScanObjectNN, S3DIS의 회전 증강 버전에서 최신 기술보다 뛰어난 성능을 보이며, ScanObjectNN의 OBJ_BG에 대해 81.2%의 정확도를 기록하면서도 완전한 회전 불변성을 유지한다.

ABSTRACT

Point cloud analysis is a fundamental task in 3D computer vision. Most previous works have conducted experiments on synthetic datasets with well-aligned data; while real-world point clouds are often not pre-aligned. How to achieve rotation invariance remains an open problem in point cloud analysis. To meet this challenge, we propose a novel approach toward achieving rotation-invariant (RI) representations by combining local geometry with global topology. In our local-global-representation (LGR)-Net, we have designed a two-branch network where one stream encodes local geometric RI features and the other encodes global topology-preserving RI features. Motivated by the observation that local geometry and global topology have different yet complementary RI responses in varying regions, two-branch RI features are fused by an innovative multi-layer perceptron (MLP) based attention module. To the best of our knowledge, this work is the first principled approach toward adaptively combining global and local information under the context of RI point cloud analysis. Extensive experiments have demonstrated that our LGR-Net achieves the state-of-the-art performance on various rotation-augmented versions of ModelNet40, ShapeNet, ScanObjectNN, and S3DIS.

연구 동기 및 목표

• 실세계 점군 분석에서 자주 발생하는 데이터 정렬 불량 문제를 해결하기 위해 회전 불변성을 확보하는 것.
• 국소 기하 불변성과 전역 위상 불변성을 통합함으로써 더 높은 내구성을 확보하는 원칙적인 방법 개발.
• 국소 및 전역 표현의 상호보완성을 활용하는 적응형 융합을 갖춘 이중 브랜치 네트워크 설계.
• 회전 증강 설정 하에서 합성 및 실세계 데이터셋 모두에서 뛰어난 성능을 입증하는 것.

제안 방법

• 국소 브랜치는 다르부 기저를 기반으로 한 확장된 영구 특징 히스토그램을 사용하여 국소 형태 속성을 캡처함으로써 회전 불변 특징을 추출한다.
• 전역 브랜치는 다운샘플된 스케letal 유사 구조에서 유도된 회전 등변 전역 좌표계에 점들을 투영하여 위상 불변성을 유지한다.
• 새로운 다층 퍼셉트론(MLP) 기반 주의 모듈이 지역별로 특징의 관련성을 기반으로 국소 및 전역 특징을 적응적으로 융합한다.
• 분류 작업을 위해 교차 엔트로피 손실, 세그멘테이션 작업을 위해 포칼 손실을 사용하여 클래스 불균형 문제에 대비한 끝에서 끝까지의 훈련을 수행한다.
• 기본 벤치마크 데이터셋의 회전 증강 버전을 대상으로 광범위한 실험을 통해 회전 불변성의 타당성을 검증한다.
• 절단 실험을 통해 최적 성능 달성을 위해 두 브랜치와 주의 기반 융합 메커니즘이 모두 필수적임을 확인한다.

실험 결과

연구 질문

• RQ1 국소 기하 특징과 전역 위상 특징을 효과적으로 융합하여 회전 불변 점군 분류를 달성할 수 있는가?
• RQ2 평균 풀링 또는 연결 방식과 비교해 볼 때, 국소 및 전역 표현의 주의 기반 융합 방식은 성능 향상에 어떤 기여를 하는가?
• RQ3 점군의 평평한 영역과 모서리 영역에서 국소 및 전역 표현이 각각 얼마나 다른 기여를 하는가?
• RQ4 적응형 융합을 갖춘 이중 브랜치 아키텍처가 회전 조건에서 단일 브랜치 또는 단일 모odal 접근 방식보다 뛰어난 성능을 내는가?

주요 결과

• LGR-Net은 ScanObjectNN의 회전 증강된 OBJ_BG 서브셋에서 81.2%의 정확도를 기록하며, 단일 브랜치 기준선보다 2.5%p 높은 성능을 보였다.
• 절단 실험 결과, 국소 및 전역 브랜치 모두가 중요한 기여를 하며, 주의 기반 융합 방식은 Cat-Conv 대비 0.6%p, Avg-Pool 대비 9.6%p의 정확도 향상을 이끌었다.
• 주의 기반 융합을 갖춘 이중 브랜치 아키텍처는 SO3/SO3 회전 증강 버전의 ModelNet40에서 81.2%의 정확도를 달성하여 강력한 회전 불변성을 입증했다.
• S3DIS 및 ShapeNet을 포함한 모든 회전 증강 벤치마크에서 높은 mIoU와 정확도를 유지함으로써, 임의의 회전에 대한 강건성을 확인했다.
• RI 전역 표현을 정렬된 좌표계로 대체하면 정확도가 약 6% 향상되며, 이는 카테고리 내에서 방향 불일치 문제의 여전한 과제임을 시사한다.
• 다운샘플된 스켈레톤의 SVD를 기반으로 한 전역 좌표계는 노이즈 및 누락 데이터에 대해 강건성을 보였지만, 이러한 요소에 대한 민감성은 여전히 제한점으로 남아 있다.