[논문 리뷰] PRIN/SPRIN: On Extracting Point-wise Rotation Invariant Features

Yang You, Yujing Lou외 6명|arXiv (Cornell University)|2021. 02. 24.

3D Shape Modeling and Analysis참고 문헌 47인용 수 4

한 줄 요약

이 논문은 밀도 인식 적응 샘플링, 구형 바이트 컨볼루션, 점 재샘플링을 사용하여 데이터 증강 없이도 회전 불변 특징을 추출하는 새로운 점별 회전 불변 신경망인 PRIN/SPRIN을 제안한다. SPRIN은 부분 분할 작업에서 최신 기술 수준을 달성하며, 돌린 ShapeNet 및 ModelNet40 데이터셋에서 이전 방법들을 능가한다.

ABSTRACT

Point cloud analysis without pose priors is very challenging in real applications, as the orientations of point clouds are often unknown. In this paper, we propose a brand new point-set learning framework PRIN, namely, Point-wise Rotation Invariant Network, focusing on rotation invariant feature extraction in point clouds analysis. We construct spherical signals by Density Aware Adaptive Sampling to deal with distorted point distributions in spherical space. Spherical Voxel Convolution and Point Re-sampling are proposed to extract rotation invariant features for each point. In addition, we extend PRIN to a sparse version called SPRIN, which directly operates on sparse point clouds. Both PRIN and SPRIN can be applied to tasks ranging from object classification, part segmentation, to 3D feature matching and label alignment. Results show that, on the dataset with randomly rotated point clouds, SPRIN demonstrates better performance than state-of-the-art methods without any data augmentation. We also provide thorough theoretical proof and analysis for point-wise rotation invariance achieved by our methods. Our code is available on https://github.com/qq456cvb/SPRIN.

연구 동기 및 목표

• 임의의 회전 하에서 포인트 클라우드 분석에 도전하는 문제를 해결하기 위해, 기존 방법들이 자세 정보나 광범위한 데이터 증강 없이 실패하는 상황을 해결한다.
• 희박하고 무작위로 회전된 포인트 클라우드에서 직접 점별로 회전 불변 특징을 추출할 수 있는 딥 러닝 프레임워크를 설계한다.
• PRIN 및 SPRIN에 대해 특정 조건 하에서 점별로 회전 불변성을 보장하기 위해 이론적 엄밀성을 확보한다.
• 중간 그리드 변환 없이 원시 포인트 클라우드에 직접 작동하는 스퍼스 버전(SPRIN)으로 프레임워크를 확장한다.
• 분류, 부분 분할, 3D 특징 매칭, 레이블 정렬과 같은 다양한 작업에 걸쳐 광범위한 적용 가능성을 입증한다.

제안 방법

• 구형 공간에서 비균일한 포인트 분포로 인한 편향을 줄이기 위해, 구형 신호를 구성하기 위한 밀도 인식 적응 샘플링(DAAS)을 제안한다.
• 기하학적 구조를 유지하고 함몰된 특징을 포착할 수 있도록, 구형 바이트 격자에 적용되는 회전 등변 컨볼루션(SVC)을 도입한다.
• 구형 바이트 표현에서 각 점의 특징을 추출하기 위해 점 재샘플링 모듈을 활용하여 입력과 출력 점 사이의 일대일 대응을 가능하게 한다.
• PRIN을 스퍼스 버전인 SPRIN으로 확장하여, 입력 점을 딜타 함수로 간주하고 z축 회전의 왼쪽 코셋에 대해 회전 불변 필터링을 적용한다.
• SPRIN에서 상관 특징과 삼각형 불변량을 사용하여 회전 불변 표현을 강화함으로써 특징의 강건성을 향상시킨다.
• 정의된 필터 및 샘플링 조건 하에서 PRIN 및 SPRIN에 대해 점별로 회전 불변성을 엄밀하게 이론적으로 증명한다.

실험 결과

연구 질문

• RQ1 딥 러닝 프레임워크가 데이터 증강 없이도 임의의 회전된 포인트 클라우드에서 점별로 회전 불변 특징을 추출할 수 있는가?
• RQ2 비볼록 및 함몰된 3D 형상을 다룰 때 구형 바이트 컨볼루션은 어떻게 회전 불변성을 유지하면서도 기하학적 구조를 보존하는가?
• RQ3 희박하고 비균일한 포인트 클라우드에서 구형 신호를 구성할 때 편향을 최소화하는 샘플링 전략은 무엇인가?
• RQ4 스퍼스 버전인 SPRIN은 밀도가 낮은 포인트 클라우드에서 PRIN 대비 얼마나 높은 성능을 유지하는가?
• RQ5 제안된 프레임워크는 분류, 분할, 특징 매칭, 레이블 정렬과 같은 다양한 3D 작업으로 일반화 가능한가?

주요 결과

• SPRIN은 돌린 ShapeNet 부분 데이터셋에서 92.08%의 정확도와 82.67%의 mIoU를 기록하여, 데이터 증강 없이도 최신 기술 수준의 방법들을 능가한다.
• DAAS를 사용한 PRIN은 동일한 데이터셋에서 85.99%의 정확도와 71.20%의 mIoU를 기록했으며, 대역폭이 4에서 32로 증가함에 따라 정확도가 16.04% 상승했다.
• DAAS 샘플링은 균일 샘플링보다 정확도에서 2.86% 향상되고 mIoU에서 3.73% 향상되어 샘플링 편향 감소 효과를 확인했다.
• PRIN과 SPRIN은 극단적인 포인트 밀도 감소 조건에서도 높은 성능을 유지했으며, SPRIN은 256개 포인트에서 64.17%의 정확도와 51.38%의 mIoU를 기록했다.
• 특징 시각화 결과는 DAAS가 균일 샘플링보다 돌린 포인트 클라우드 간에 특징 공간에서 더 우수한 대응 관계를 유지함을 확인했다.
• 제거 분석 결과, SPRIN에서 상관 특징과 삼각형 기반 특징을 조합할 경우 최고의 성능을 기록하여 92.08%의 정확도와 82.67%의 mIoU를 달성했다.