[논문 리뷰] Pointwise Rotation-Invariant Network with Adaptive Sampling and 3D Spherical Voxel Convolution

Yang You, Yujing Lou외 5명|arXiv (Cornell University)|2018. 11. 23.

3D Shape Modeling and Analysis참고 문헌 37인용 수 18

한 줄 요약

이 논문은 자세 사전 지식 없이도 3D 포인트 클라우드에서 회전 동치 특징 학습을 가능하게 하는 점별 회전 불변 네트워크인 PRIN을 제안한다. 밀도 인식 적응 샘플링, 구형 바이트 복소화, 포인트 재샘플링을 조합함으로써 PRIN은 임의의 회전 하에 형태 분류, 부분 분할, 3D 특징 매칭에서 최신 기술 수준의 성능을 달성하며, 데이터 증강 없이도 기존 방법을 능가한다.

ABSTRACT

Point cloud analysis without pose priors is very challenging in real applications, as the orientations of point clouds are often unknown. In this paper, we propose a brand new point-set learning framework PRIN, namely, Pointwise Rotation-Invariant Network, focusing on rotation-invariant feature extraction in point clouds analysis. We construct spherical signals by Density Aware Adaptive Sampling to deal with distorted point distributions in spherical space. In addition, we propose Spherical Voxel Convolution and Point Re-sampling to extract rotation-invariant features for each point. Our network can be applied to tasks ranging from object classification, part segmentation, to 3D feature matching and label alignment. We show that, on the dataset with randomly rotated point clouds, PRIN demonstrates better performance than state-of-the-art methods without any data augmentation. We also provide theoretical analysis for the rotation-invariance achieved by our methods.

연구 동기 및 목표

• 기본 자세 정보 없이도 임의의 회전 하에서 포인트 클라우드 분석에 도전하는 문제를 해결하기 위해.
• 회전 불변성을 확보하기 위해 데이터 증강에 의존하지 않아 계산 비용을 줄이기 위해.
• 원시적인, 기울인 포인트 클라우드에서 직접적으로 회전 불변 특징을 엔드 투 엔드로 학습할 수 있도록 하기 위해.
• 분할과 같은 조밀한 예측 작업에서 입력과 출력 간의 일대일 포인트 대응을 유지하기 위해.
• 3D 특징 매칭 및 회전에 강건한 특징을 사용한 레이블 정렬과 같은 다양한 응용을 지원하기 위해.

제안 방법

• 밀도 인식 적응 샘플링(DAAS)은 희박한 포인트 클라우드를 구형 바이트 격자로 매핑하며, 비균일한 포인트 밀도를 고려해 sin(β)로 가중치를 적용함으로써 기하학적 정밀도를 유지한다.
• 구형 바이트 복소화(SVC)는 SO(3)에서 하르 측도를 기반으로 한 회전 불변 필터 연산을 사용해 구형 바이트 격자에서 3D 복소화를 수행한다.
• 포인트 재샘플링은 구형 바이트 표현에서 각 포인트 특징을 재구성함으로써 점별 예측을 가능하게 하면서도 회전 불변성을 유지한다.
• 네트워크 아키텍처는 분류를 위한 구형 바이트 특징과 글로벌 최대 풀링, 분할을 위한 포인트별 헤드를 통합한다.
• 이론적 분석을 통해 SO(3)에서 하르 측도 불변성에 기반해 회전 불변성이 확인되어 모든 방향에서 일관된 특징 학습이 보장된다.
• 이 프레임워크는 공유된 회전 불변 특징을 사용해 글로벌 및 로컬 작업, 즉 3D 포인트 매칭과 레이블 정렬을 모두 지원한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 표준 방향이나 데이터 증강 없이도 3D 포인트 클라우드에서 직접적으로 회전 불변 특징을 학습할 수 있는가?
• RQ2 희박한 포인트 클라우드에서 비균일한 포인트 분포에 대해 구형 바이트화를 어떻게 강건하게 만들 수 있는가?
• RQ3 밀도 인식 샘플링과 구형 복소화가 특징 학습에서 회전 불변성을 유지하는 데 어떤 역할을 하는가?
• RQ4 제안된 방법이 분류, 부분 분할, 임의의 회전 하에서의 3D 매칭과 같은 다양한 3D 작업에 일반화될 수 있는가?
• RQ5 구형 복소화 연산의 이론적 불변성은 벤치마크 데이터셋에서의 실증 성능과 어떻게 관련이 있는가?

주요 결과

• PRIN은 데이터 증강 없이도 ShapeNet part 데이터셋과 ModelNet40에서 최신 기술 수준의 성능을 달성하며, 기존의 회전 불변 방법을 능가한다.
• 기울인 포인트 클라우드에서도 PRIN은 부분 분할과 분류에서 높은 정확도를 유지하여 임의의 방향에 대한 강건성을 입증한다.
• 3D 특징 매칭과 레이블 정렬에서 뛰어난 성능을 기록하여 다양한 3D 비전 작업으로의 일반화 능력을 확인한다.
• 이론적 분석을 통해 구형 복소화 연산이 SO(3)에서의 회전에 대해 불변임을 확인하여 실증적 강건성의 원인을 설명한다.
• 실패 사례는 극단적인 오목성이나 매우 희박한 영역 처리에 한계를 드러내며, 샘플링 및 특징 집합의 향상 여지가 있음을 시사한다.