[논문 리뷰] Global Context Aware Convolutions for 3D Point Cloud Understanding

Zhiyuan Zhang, Binh‐Son Hua외 3명|arXiv (Cornell University)|2020. 08. 07.

3D Shape Modeling and Analysis참고 문헌 46인용 수 5

한 줄 요약

이 논문은 전역적 참조 프레임과 앵커 포인트를 통해 전역적 맥락을 통합함으로써 특징의 구별 능력을 향상시키는 회전 불변 3D 포인트 클라우드 컨볼루션인 GCAConv을 제안한다. 국소적 이웃과 전역적 형태 특징 간의 관계를 인코딩함으로써, GCAConv는 도전적인 회전 조건 하에서도 물체 분류, 부분 분할, 형태 검색, 법선 추정에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Recent advances in deep learning for 3D point clouds have shown great promises in scene understanding tasks thanks to the introduction of convolution operators to consume 3D point clouds directly in a neural network. Point cloud data, however, could have arbitrary rotations, especially those acquired from 3D scanning. Recent works show that it is possible to design point cloud convolutions with rotation invariance property, but such methods generally do not perform as well as translation-invariant only convolution. We found that a key reason is that compared to point coordinates, rotation-invariant features consumed by point cloud convolution are not as distinctive. To address this problem, we propose a novel convolution operator that enhances feature distinction by integrating global context information from the input point cloud to the convolution. To this end, a globally weighted local reference frame is constructed in each point neighborhood in which the local point set is decomposed into bins. Anchor points are generated in each bin to represent global shape features. A convolution can then be performed to transform the points and anchor features into final rotation-invariant features. We conduct several experiments on point cloud classification, part segmentation, shape retrieval, and normals estimation to evaluate our convolution, which achieves state-of-the-art accuracy under challenging rotations.

연구 동기 및 목표

• 회전 불변성과 이동 불변성 사이의 성능 격차를 해소하기 위해 특징의 구별 능력을 향상시키는 것.
• 회전 불변 특징가 이동 불변 특징보다 기하학적 정보가 감소하여 구별 능력이 떨어지는 한계를 극복하는 것.
• 국소 컨볼루션에 전역 형태 맥락을 통합하여 구별 능력을 향상시키면서도 회전 불변성을 유지하는 것.
• 임의의 회전 조건에서도 훈련 및 테스트 시나리오에서 일관된 성능을 보이는 신경망 아키텍처(GCANet)를 개발하는 것.
• 회전으로 훼손된 데이터에서 다양한 3D 이해 작업에 대해 전역 맥락 통합의 효과를 입증하는 것.

제안 방법

• 각 키포인트의 이웃에 대해 전역적으로 가중된 국소 기준 프레임을 구성하여, 다양한 회전 조건에서도 일관된 국소 좌표 정의를 가능하게 한다.
• 전역 기준 프레임을 기반으로 각 국소 이웃을 공간 빈으로 분할하고, 각 빈에 앵커 포인트를 생성하여 전역 형태 특징을 표현한다.
• 국소 포인트 특징과 전역 앵커 특징 양쪽에 대해 컨볼루션 연산을 수행하여 회전 불변 출력 특징을 생성한다.
• 학습 가능한 어텐션 메커니즘을 사용하여 전역 앵커의 기여도를 가중함으로써 맥락 인식 특징 집약을 보장한다.
• 스킵 연결과 정규화를 포함한 다중 GCAConv 레이어를 스택하여 강력한 특징 학습을 위한 깊은 네트워크 아키텍처인 GCANet를 설계한다.
• 전이 학습을 위해 버티컬 레이어 특징을 활용하여 형태 검색 및 법선 추정 작업에서 회전 불변성을 유지한다.

실험 결과

연구 질문

• RQ1 전역 맥락 통합이 회전 불변 3D 포인트 클라우드 특징의 구별 능력을 향상시킬 수 있는가?
• RQ2 임의의 회전 조건 하에서, 회전 불변 컨볼루션의 성능은 이동 불변 대비어느 정도인가?
• RQ3 전역적으로 가중된 국소 기준 프레임이 3D 포인트 클라우드에서 국소 특징 학습의 강건성과 일관성을 향상시킬 수 있는가?
• RQ4 국소 컨볼루션에 전역 앵커를 통합하면, 하류 작업에서 다양한 회전 모드 간의 일반화 성능이 향상되는가?
• RQ5 전역 맥락 인식은 회전 불변성과 이동 불변성 간의 성능 격차를 어느 정도 해소할 수 있는가?

주요 결과

• SHREC’17 프로토콜 하에서 ShapeNet Core에서의 3D 형태 검색에서 GCAConv는 82.9% 정밀도와 81.3% NDCG를 기록하여 최신 기술 수준 성능을 달성했다.
• ModelNet40에서의 법선 추정 작업에서, GCAConv는 z/SO3, SO3/SO3, z/z 회전 모드에서 오차 표준편차가 단지 0.01에 불과하여 RIConv와 PointNet++보다 일관성 면에서 뛰어난 성능을 보였다.
• 물체 분류 작업에서, GCAConv는 회전으로 훼손된 테스트 설정 하에서도 PointNet++ 및 RS-CNN와 같은 이동 불변 모델과 동일하거나 뛰어난 성능을 기록했다.
• 같은 벤치마크에서 형태 검색 작업에서 GCAConv는 66.8%의 매크로 F1 스코어를 기록하여 SFCNN(59.4%)과 Spherical CNN(56.5%)를 모두 초월했다.
• 시각적 비교 결과, GCAConv는 최대 정확도 영역에서 오차가 최소화된 가장 정확하고 전역적으로 일관된 법선을 생성했다.
• 절단 분석 결과, 전역 맥락 통합이 특히 도전적인 회전 조건에서 특징의 구별 능력을 크게 향상시킨다는 것이 확인되었다.