[논문 리뷰] Sparse Steerable Convolutions: An Efficient Learning of SE(3)-Equivariant Features for Estimation and Tracking of Object Poses in 3D Space

Jiehong Lin, Hongyang Li외 3명|arXiv (Cornell University)|2021. 11. 14.

Human Pose and Action Recognition인용 수 11

한 줄 요약

이 논문은 희소 점군을 사용한 3D 객체 자세 추정 및 추적을 위한 계산적으로 효율적인 SE(3)-동변성 딥 러닝 방법인 희소 기울 수 있는 컨볼루션(SS-Conv)을 제안한다. 구면 조화 함수 기반 커널 파arameterization과 희소 텐서 연산을 활용하여 SS-Conv는 SE(3)-동변성을 유지하면서 추론 속도를 향상시켜, 인스턴스 수준, 카테고리 수준, 추적 벤치마크에서 모두 최신 기술 수준의 성능을 달성하며 고정밀도 지표에서 뚜렷한 향상을 이룬다.

ABSTRACT

As a basic component of SE(3)-equivariant deep feature learning, steerable convolution has recently demonstrated its advantages for 3D semantic analysis. The advantages are, however, brought by expensive computations on dense, volumetric data, which prevent its practical use for efficient processing of 3D data that are inherently sparse. In this paper, we propose a novel design of Sparse Steerable Convolution (SS-Conv) to address the shortcoming; SS-Conv greatly accelerates steerable convolution with sparse tensors, while strictly preserving the property of SE(3)-equivariance. Based on SS-Conv, we propose a general pipeline for precise estimation of object poses, wherein a key design is a Feature-Steering module that takes the full advantage of SE(3)-equivariance and is able to conduct an efficient pose refinement. To verify our designs, we conduct thorough experiments on three tasks of 3D object semantic analysis, including instance-level 6D pose estimation, category-level 6D pose and size estimation, and category-level 6D pose tracking. Our proposed pipeline based on SS-Conv outperforms existing methods on almost all the metrics evaluated by the three tasks. Ablation studies also show the superiority of our SS-Conv over alternative convolutions in terms of both accuracy and efficiency. Our code is released publicly at https://github.com/Gorilla-Lab-SCUT/SS-Conv.

연구 동기 및 목표

• 점군과 같은 희소 3D 데이터에서 기존 SE(3)-동변성 네트워크의 계산 비효율성 문제를 해결하기 위해.
• 기하학적 불변성을 훼치지 않으면서도 희소 텐서에서 효율적이고 정확한 SE(3)-동변성 특징 학습을 가능하게 하기 위해.
• SE(3)-동변성 특징을 활용한 6D 객체 자세 추정 및 추적을 위한 일반화 가능한 파ip라인 개발을 위해.
• 고정밀도 자세 추정 영역에서 제안된 방법의 우수성을 입증하기 위해.
• 학습된 특징의 기울 수 있는 성질을 활용해 새로운 특징 기반 스위칭 모듈을 통해 반복적 자세 보정을 가능하게 하기 위해.

제안 방법

• SE(3)-동변성을 유지하기 위해 구면 조화 함수 기반 기저 커널의 선형 조합을 사용하여 희소 기울 수 있는 컨볼루션(SS-Conv) 설계.
• GPU에서의 행렬-행렬 곱셈-덧셈 연산을 통해 SS-Conv를 구현하며, 활성 희소 텐서 위치에만 국한하여 효율성을 향상.
• 두 단계 파이프라인 구성: 첫 번째 단계는 6D 자세 예측, 두 번째 단계는 특징 기반 스위칭 모듈을 이용한 반복적 보정.
• 특징 기반 스위칭 모듈을 통해 직접 특징 공간에서 SE(3) 변환을 수행하여 효율적이고 정확한 자세 보정을 가능하게 함.
• SE(3)-동변성 특징에서 6D 객체 자세(회전 및 이동)를 회귀하기 위해 학습 가능한 헤드를 사용해 네트워크를 엔드 투 엔드로 훈련.
• 빈 바쿠올에 대한 조밀한 계산을 피하기 위해 희소 텐서 연산을 활용하여 FLOPs를 크게 감소시키면서도 기하학적 불변성을 유지함.

실험 결과

연구 질문

• RQ1 기하학적 불변성을 훼치지 않으면서도 SE(3)-동변성 컨벌루션을 희소 3D 점군에 효율적으로 적용할 수 있는가?
• RQ2 제안된 기울 수 있는 컨벌루션의 희소 구현이 정확도와 추론 속도 모두에서 조밀한 기준 모델을 능가하는가?
• RQ3 SE(3)-동변성 특징의 기울 수 있는 성질이 두 단계 파이프라인에서 효과적인 반복적 자세 보정을 가능하게 하는가?
• RQ4 제안된 방법은 인스턴스 수준, 카테고리 수준, 추적 6D 자세 추정에 있어 도전적인 벤치마크에서 어떻게 성능을 내는가?
• RQ5 특징 기반 스위칭 모듈이 특히 고정밀도 영역에서 최종 자세 정확도에 기여하는 정도는 어느 정도인가?

주요 결과

• LineMOD 데이터셋에서 제안된 두 단계 파이프라인은 기존 방법을 능가하는 새로운 최고 성능을 기록하며 평균 ADD(S) 99.2%를 달성했다.
• REAL275에서 카테고리 수준의 6D 자세 및 크기 추정에 대해 5°5cm 지표를 35.9%에서 43.4%로 향상시켜 뛰어난 고정밀도 성능을 입증했다.
• 카테고리 수준의 6D 자세 추적에 대해 5°5cm 지표는 54.5%로, IoU 25는 98.8%를 기록하며 6-PACK 기준 모델을 모든 지표에서 능가했다.
• 제거 분석 결과, 특징 기반 스위칭 모듈을 통한 두 번째 단계 보정이 특히 고정밀도 영역에서 정확도를 크게 향상시킴을 확인했다.
• SS-Conv 모듈은 조밀한 기울 수 있는 컨벌루션 대비 계산 비용을 감소시키면서도 SE(3)-동변성을 유지하여 희소 3D 데이터에 대한 실용적 구현을 가능하게 했다.
• 이 방법은 인스턴스 수준, 카테고리 수준, 추적 벤치마크 등 다양한 3D 작업에 대해 잘 일반화되며 일관된 우수성을 보였다.