[논문 리뷰] On the Continuity of Rotation Representations in Neural Networks

Yi Zhou, Connelly Barnes외 3명|arXiv (Cornell University)|2018. 12. 17.

3D Shape Modeling and Analysis참고 문헌 29인용 수 57

한 줄 요약

논문은 신경망에서 회전 표현의 연속성 개념을 정의하고, 저차원에서 일반적인 3D 회전 표현의 연속성을 부정적으로 증명하며, 고차원(특히 5D 및 6D)으로의 연속 표현을 제시하고 SO(n)에 대해 실험적으로 이 연속 표현들이 autoencoding, 회전 추정, 역운동학 태스크에서 학습을 개선함을 보인다.

ABSTRACT

In neural networks, it is often desirable to work with various representations of the same space. For example, 3D rotations can be represented with quaternions or Euler angles. In this paper, we advance a definition of a continuous representation, which can be helpful for training deep neural networks. We relate this to topological concepts such as homeomorphism and embedding. We then investigate what are continuous and discontinuous representations for 2D, 3D, and n-dimensional rotations. We demonstrate that for 3D rotations, all representations are discontinuous in the real Euclidean spaces of four or fewer dimensions. Thus, widely used representations such as quaternions and Euler angles are discontinuous and difficult for neural networks to learn. We show that the 3D rotations have continuous representations in 5D and 6D, which are more suitable for learning. We also present continuous representations for the general case of the n-dimensional rotation group SO(n). While our main focus is on rotations, we also show that our constructions apply to other groups such as the orthogonal group and similarity transforms. We finally present empirical results, which show that our continuous rotation representations outperform discontinuous ones for several practical problems in graphics and vision, including a simple autoencoder sanity test, a rotation estimator for 3D point clouds, and an inverse kinematics solver for 3D human poses.

연구 동기 및 목표

• 신경망에서 사용되는 표현의 연속성 개념을 정의하고 이를 위상학(동형사상(homeomorphism)과 임베딩)과 연관시킨다.
• 2D, 3D 및 n-D 회전에 걸쳐 어떤 회전 표현이 연속적이거나 불연속적인지 특징지운다.
• SO(n)에 대한 연속 표현을 제안하고 형식화하며, 명시적 구성과 차원 수 고려를 포함한다.
• 실용적인 그래픽/비전 태스크에서 연속 표현이 불연속 표현보다 성능이 우수함을 실험적으로 보여준다.

제안 방법

• g가 연속적인 한 쌍의 매핑 (f, g)을 통해 연속 표현의 형식적 정의를 도입하고 이를 동형사상/임베딩 개념과 연관시킨다.
• 일반적인 3D 회전 표현(Euler 각, 쿼터니언)의 불연속성을 분석하고 SO(3)가 저차원 유클리드 공간(<5D)으로의 임베딩 불가능성을 증명한다.
• 차원 n^2 - n(케이스 3)인 SO(n) 위한 연속 표현을 구성하고, 연속성을 보존하면서 차원화를 줄이는 방법(Case 4 및 사영 기반 방법)을 보인다.
• SO(3)에 대해 Gram-Schmidt 유사 임베딩(케이스 3)과 방향사영(projection) 축소(케이스 4)를 통해 6D 및 5D 연속 표현으로 특화한다.
• O(n) 및 유사 변환으로의 확장과 네트워크 구현 가이드를 논의하고(직교화의 함의).
• 회전 자동인코더, 3D 포인트 클라우드 회전 추정, 3D 인간 자세 역운동학에서 연속 표현과 불연속 표현을 실험적으로 비교한다.

실험 결과

연구 질문

• RQ1 회전 표현을 신경망 학습을 위해 연속적으로 만들 수 있는가, 그리고 이것이 학습 효율성과 정확도에 어떤 영향을 주는가?
• RQ2 SO(3)를 유클리드 공간에 연속적으로 임베딩하는 데 필요한 차원은 무엇이며, 실용적인 차원(5D/6D)으로 연속 표현을 구성할 수 있는가?
• RQ3 연속 표현이 자동인코딩, 자세 추정, 역운동학 태스크에서 전통적 표현보다 측정 가능한 성능 향상을 가져오는가?
• RQ4 제안된 연속 표현이 O(n) 및 유사 변환과 같은 다른 군에도 일반화될 수 있는가?

주요 결과

• 저차원 유클리드 공간(≤4D)의 3D 회전 표현은 불연속적이어서 학습을 어렵게 만든다.
• SO(n)에 대한 연속 표현은 차원 n^2 − n에서 존재하며, 5D 및 6D 케이스가 SO(3)에 대해 실용적으로 시연되었다.
• 그램-슈미트 유사 임베딩의 6D(및 사영을 통한 5D) 표현은 출력이 유효한 회전으로 매핑되어 직교성을 보존한다.
• 실험 결과 연속 표현이 회전 자동인코더, 3D 포인트 클라우드 회전 추정, 3D 인간 자세 역운동학에서 불연속 표현보다 성능이 우수하며 오차가 현저히 낮고 수렴 속도도 빨랐다.
• 3x3 행렬에 대한 직접 회귀는 제안된 연속 표현보다 오차가 더 크다.
• 네트워크 내 직교화(또는 후처리)를 통해 표현 선택과 상호 작용하며, 고차원 연속 형태의 실용적 이점을 강조한다.