[논문 리뷰] 3D-Rotation-Equivariant Quaternion Neural Networks

Wen Shen, Binbin Zhang외 3명|arXiv (Cornell University)|2019. 11. 20.

Advanced Numerical Analysis Techniques참고 문헌 47인용 수 13

한 줄 요약

이 논문은 3D 포인트 클라우드 네트워크의 회전 등변성과 순열 불변성을 확보하기 위해 입력과 특징을 쿼터니언으로 표현하는 프레임워크인 회전 등변 쿼터니언 신경망(Rotation-Equivariant Quaternion Neural Networks, REQNNs)을 소개한다. 쿼터니언 대수를 통해 입력 포인트 클라우드에 적용된 회전이 중간 특징에 그대로 반영되도록 보장함으로써 REQNNs는 임의의 회전 하에서 상당히 높은 회전 내성 성능를 달성하였으며, ModelNet40에서 최고 83.03%의 정확도를 기록하여 도전적인 설정에서 기존 최고 수준의 방법들보다 14个百分点 이상 뛰어나다.

ABSTRACT

This paper proposes a set of rules to revise various neural networks for 3D point cloud processing to rotation-equivariant quaternion neural networks (REQNNs). We find that when a neural network uses quaternion features under certain conditions, the network feature naturally has the rotation-equivariance property. Rotation equivariance means that applying a specific rotation transformation to the input point cloud is equivalent to applying the same rotation transformation to all intermediate-layer quaternion features. Besides, the REQNN also ensures that the intermediate-layer features are invariant to the permutation of input points. Compared with the original neural network, the REQNN exhibits higher rotation robustness.

연구 동기 및 목표

• 표준 3D 포인트 클라우드 신경망에서의 회전 내성 부족 문제, 특히 임의의 또는 미리 보지 않은 방향에서의 성능을 해결하기 위해.
• 기존 3D 포인트 클라우드 네트워크를 회전 등변성 및 순열 불변성 모델로 변환할 수 있는 일반화 가능한 프레임워크를 개발하기 위해.
• 중간 쿼터니언 특징을 조작하여 원하는 방향을 가진 회전된 포인트 클라우드 재구성을 가능하게 하기 위해.
• 특징 학습 중에 쿼터니언 기반의 등변성을 유지하면서도, 최종 작업을 위한 실수값 출력을 유지하기 위해.

제안 방법

• 입력 포인트 클라우드와 중간 특징을 ℍ에 속하는 쿼터니언(쿼터니언 원소)으로 표현함으로써, 쿼터니언 곱셈과 켤레를 통한 3차원 회전 연산을 가능하게 한다.
• 입력에 적용된 회전 변환과 동일한 변환을 특징에 적용함으로써, 층 단위 연산(예: 컨벌루션, ReLU, 배치 정규화, 최대 풀링)을 회전 등변성으로 수정한다.
• 수학적으로 회전 등변성을 정의함: g(R∘x∘R̄) = R∘g(x)∘R̄, 여기서 R은 회전 쿼터니언이며, ∘는 요소별 쿼터니언 곱셈을 나타낸다.
• 입력에서 포인트 재정렬에 대해 쿼터니언 표현의 내재적 대칭성을 활용하여 순열 불변성을 확보한다.
• 최종 층에서 각 쿼터니언 특징을 구성 요소의 제곱 노름으로 치환함으로써, 분류 및 회귀 헤드에서의 회전 불변성을 유지한다.
• 원래 입력과 동일한 회전을 특징에 적용함으로써, 중간층의 쿼터니언 특징을 사용해 회전된 포인트 클라우드를 재구성한다.

실험 결과

연구 질문

• RQ1 기존 3D 포인트 클라우드 네트워크에 회전 등변성과 순열 불변성을 부여할 수 있는 일반적 프레임워크를 개발할 수 있는가?
• RQ2 쿼터니언 대수를 층 단위 연산에 체계적으로 적용하여 네트워크 깊이 전반에 걸쳐 회전 등변성을 유지할 수 있는가?
• RQ3 REQNN 프레임워크는 기존 네트워크 대비 임의의 입력 회전에 대해 얼마나 더 뛰어난 내성 성능를 보이는가?
• RQ4 중간 쿼터니언 특징을 활용해 원하는 방향을 가진 포인트 클라우드를 재구성할 수 있는가? 이는 실용적 제어 가능성의 증거가 된다.
• RQ5 표준 네트워크를 REQNN으로 변환할 때, 표현 능력과 내성 성능 사이의 상호 상충 관계는 어떠한가?

주요 결과

• DGCNN에서 개선한 REQNN은 ModelNet40에서 임의의 회전 하에서 83.03%의 정확도를 기록하여, 이 도전적인 설정에서 모든 기준 방법들을 앞서며 뛰어난 성능을 보였다.
• NR/AR 설정에서 REQNN은 PRIN보다 14.18个百分点, QE-Capsule보다 8.96个百分点 높은 성능를 기록하여 뛰어난 회전 내성 성능를 입증하였다.
• 기존의 네트워크들인 PointNet과 DGCNN는 임의의 회전 하에서 빈약한 일반화 성능를 보였으며, ModelNet40에서 정확도가 21.93%~31.34%로 급격히 떨어졌다.
• REQNN는 회전 등변성의 엄격한 설계를 반영하여 NR/NR와 NR/AR 설정 모두에서 동일한 성능를 유지함으로써 이론적 설계의 정합성을 확인하였다.
• 포인트 클라우드 재구성 실험 결과, 중간 쿼터니언 특징을 회전시켜 재구성한 포인트 클라우드가 직접적으로 회전된 원본과 방향이 일치하는 것으로 확인되었다.
• 분류 및 회귀 작업을 위한 최종 층에서 각 쿼터니언 특징을 구성 요소의 제곱 노름으로 대체함으로써, 실수값 출력을 유지함으로써 성능를 보존하였다.