[논문 리뷰] Quaternion Equivariant Capsule Networks for 3D Point Clouds

Yongheng Zhao, Tolga Birdal외 4명|arXiv (Cornell University)|2019. 12. 27.

3D Shape Modeling and Analysis참고 문헌 77인용 수 10

한 줄 요약

이 논문은 3D 포인트 클라우드를 위한 새로운 퀼레르니언 등변 캡슐 네트워크(QEC)를 소개한다. 이 네트워크는 SO(3) 회전 및 이동 등변성을 확보하면서도 순열 불변성을 유지한다. 퀄레르니언을 통해 국소 기준 프레임(LRFs)을 동적으로 라우팅함으로써, 네트워크는 물체 기하학과 자세를 분리하여, 명시적 자세 감독 없이도 3D 분류와 자세 추정을 동시에 수행할 수 있으며, ModelNet10과 ModelNet40에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We present a 3D capsule module for processing point clouds that is equivariant to 3D rotations and translations, as well as invariant to permutations of the input points. The operator receives a sparse set of local reference frames, computed from an input point cloud and establishes end-to-end transformation equivariance through a novel dynamic routing procedure on quaternions. Further, we theoretically connect dynamic routing between capsules to the well-known Weiszfeld algorithm, a scheme for solving \emph{iterative re-weighted least squares} (IRLS) problems with provable convergence properties. It is shown that such group dynamic routing can be interpreted as robust IRLS rotation averaging on capsule votes, where information is routed based on the final inlier scores. Based on our operator, we build a capsule network that disentangles geometry from pose, paving the way for more informative descriptors and a structured latent space. Our architecture allows joint object classification and orientation estimation without explicit supervision of rotations. We validate our algorithm empirically on common benchmark datasets.

연구 동기 및 목표

• 3D 캡슐 네트워크를 개발하여 3D 회전 및 이동에 대해 등변적이면서도 점 순열에 대해 불변하도록 한다.
• 회전에 대한 명시적 감독 없이도 3D 물체 분류와 자세 추정을 동시에 수행할 수 있도록 한다.
• 동적 라우팅을 강력한 최적화 프레임워크인 Weiszfeld 알고리즘을 통해 이론적으로 기반화하고, 증명 가능한 수렴성을 확보한다.
• 퀄레르니언 값의 캡슐을 사용하여 잠재 공간에서 기하학적 특징과 자세를 분리한다.
• 희박한 LRFs와 강력한 라우팅을 통해 점 밀도 변화 및 재샘플링에 대해 강건한 성능을 달성한다.

제안 방법

• 3D 포인트 클라우드에서 유도된 희박한 국소 기준 프레임(LRFs)을 처리하는 퀄레르니언 등변 캡슐(QEC) 모듈을 제안한다.
• Weiszfeld 알고리즘에 기반한 새로운 동적 라우팅 메커니즘을 도입하여, 퀄레르니언 기반 캡슐 투표를 반복적으로 개선함으로써 수렴성과 강건성을 확보한다.
• Weiszfeld 반복 과정에서 유도된 인라이어 스코어를 활성화 함수로 사용하여 캡슐 레이어 간의 정보 라우팅을 수행함으로써 등변 특징 집합을 실현한다.
• 하나의 계층적 캡슐 네트워크를 구성하여 하위 레벨의 LRFs를 고위 레벨의 캡슐로 풀링함으로써 물체 수준의 기하학적 구조와 자세를 표현한다.
• 분류 손실을 유일한 학습 신호로 활용하여, 자세 애너테이션 없이도 자기지도 기반 자세 추정이 가능하도록 한다.
• 두 포인트 클라우드 간의 상대 자세를 추정하기 위해 시아미즈 변형을 적응하여 캡슐 표현을 정렬한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크의 동적 라우팅이 Weiszfeld 알고리즘과 같은 강력한 최적화 프레임워크에 이론적으로 기반을 두고 있는가?
• RQ2 희박한 LRF 집합과 퀄레르니언 표현을 사용하여 3D 캡슐 네트워크에서 완전한 SO(3) 회전 등변성을 달성할 수 있는가?
• RQ3 명시적 자세 감독 없이도 캡슐 네트워크가 3D 분류와 자세 추정을 동시에 수행할 수 있는가?
• RQ4 제안된 방법은 포인트 밀도 변화 및 입력 포인트 클라우드의 무작위 재샘플링에 대해 얼마나 강건한가?
• RQ5 구조적이고 해석 가능한 잠재 공간에서 네트워크는 기하학적 특징과 자세를 체계적으로 분리할 수 있는가?

주요 결과

• 제안된 QEC 네트워크는 도전적인 재샘플링 및 회전 조건 하에서 ModelNet10의 비대칭 서브셋에서 상위 기술 수준의 상대적 각도 오차(RAE) 0.09를 달성한다.
• ModelNet40의 비대칭 서브셋에서는 RAE를 0.10으로 줄여, PCA, 평균 LRF, 그리고 광범위한 자세 증강이 필요한 IT-Net 및 PointNetLK와 같은 베이스라인을 능가한다.
• 절단 실험에서 네트워크는 100% 패치 드롭 조건에서도 87.8%의 분류 정확도와 0.09의 RAE를 유지하여 LRF 및 점 밀도 변화에 대한 강건성을 입증한다.
• 이론적 분석을 통해 Weiszfeld 기반 동적 라우팅의 수렴성을 확인하였으며, 캡슐 라우팅이 증명 가능한 수렴성을 갖는 반복 가중 최소제곱(IRLS) 최적화와 연결됨을 보였다.
• 분류 손실만을 기반으로 하여도 명시적 자세 감독 없이도 표준 자세 및 상대 자세를 성공적으로 추정하였다.
• 기하학적 캡슐 네트워크 및 기타 불변 기반 베이스라인은 자세를 추정하지 못하는 데 반해, 이 방법은 군 값 잠재 표현을 명시적으로 모델링함으로써 우수한 성능을 달성한다.