[論文レビュー] On the Continuity of Rotation Representations in Neural Networks

Yi Zhou, Connelly Barnes+3 more|arXiv (Cornell University)|Dec 17, 2018

3D Shape Modeling and Analysis参考文献 29被引用数 57

ひとこと要約

本論文はニューラルネットワークにおける回転表現の連続性の概念を定義し、低次元の一般的な3D回転表現が不連続であることを証明し、SO(n)の高次元連続表現（特に5Dおよび6D）を提示し、経験的にこれらの連続表現が学習を改善することを示す。

ABSTRACT

In neural networks, it is often desirable to work with various representations of the same space. For example, 3D rotations can be represented with quaternions or Euler angles. In this paper, we advance a definition of a continuous representation, which can be helpful for training deep neural networks. We relate this to topological concepts such as homeomorphism and embedding. We then investigate what are continuous and discontinuous representations for 2D, 3D, and n-dimensional rotations. We demonstrate that for 3D rotations, all representations are discontinuous in the real Euclidean spaces of four or fewer dimensions. Thus, widely used representations such as quaternions and Euler angles are discontinuous and difficult for neural networks to learn. We show that the 3D rotations have continuous representations in 5D and 6D, which are more suitable for learning. We also present continuous representations for the general case of the n-dimensional rotation group SO(n). While our main focus is on rotations, we also show that our constructions apply to other groups such as the orthogonal group and similarity transforms. We finally present empirical results, which show that our continuous rotation representations outperform discontinuous ones for several practical problems in graphics and vision, including a simple autoencoder sanity test, a rotation estimator for 3D point clouds, and an inverse kinematics solver for 3D human poses.

研究の動機と目的

• ニューラルネットワークで用いられる表現の連続性の概念を定義し、それを位相（同相写像/homomorphismと埋め込み）と関連づける。
• 2D、3D、およびn次元回転に対して、どの回転表現が連続であるか、どれが不連続であるかを特徴づける。
• SO(n)の連続表現を提案・形式化し、明示的な構成と次元の考慮を含める。
• 実践的なグラフィックス/ビジョンタスクにおいて、連続表現が不連続表現よりも性能を上回ることを実証する。

提案手法

• 関数対 (f, g) による連続表現の形式的定義を導入し、g が連続であることと同相/埋め込みの概念と関連づける。
• 一般的な3D回転表現（オイラー角、クォータニオン）の不連続性を分析し、SO(3) を低次元ユークリッド空間（<5D）へ埋め込み不可能であることを証明する。
• 次元 n^2 - n のSO(n) の連続表現を構築（ケース3）し、連続性を保ちながら次元を削減する方法を示す（ケース4および射影ベースの手法）。
• SO(3) に対する6Dおよび5Dの連続表現を、Gram-Schmidt風の埋め込み（ケース3）と双射射影による削減（ケース4）を用いて特化させる。
• O(n) および類似変換への拡張を論じ、ネットワーク実装の指針（直交化の意味合い）を提供する。
• 回転自己符号化、3D点群回転推定、および3D人体姿勢の逆運動学における連続表現と不連続表現を経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 回転表現をニューラルネットワークの学習のために連続的にすることは可能か、そしてこれが学習効率と精度にどのように影響するか？
• RQ2 SO(3) をユークリッド空間に連続的に埋め込むにはどの次元が必要で、実用的な次元（5D/6D）で連続表現を構築できるか？
• RQ3 自己符号化、姿勢推定、逆運動学タスクにおいて、連続表現は従来表現より実測可能な性能向上をもたらすか？
• RQ4 提案された連続表現はO(n)や類似変換などの他の群にも一般化できるか？

主な発見

• 3D rotation representations in low-dimensional Euclidean spaces (≤4D) are discontinuous, making learning difficult.
• Continuous representations for SO(n) exist in n^2 − n dimensions, with 5D and 6D cases demonstrated as practical for SO(3).
• A Gram-Schmidt-inspired 6D (and a 5D via projection) representation yields outputs that map back to valid rotations, preserving orthogonality.
• Empirical results show continuous representations outperform discontinuous ones across a rotation autoencoder, rotation estimation for 3D point clouds, and 3D human pose inverse kinematics, with markedly lower errors and faster convergence.
• Direct regression on 3x3 matrices yields larger errors than the proposed continuous representations.
• Orthogonalization within the network (or via postprocessing) interacts with representation choice, highlighting practical benefits of the higher-dimensional continuous forms.