[論文レビュー] Revisiting the Continuity of Rotation Representations in Neural Networks

Sitao Xiang, Hao Li|arXiv (Cornell University)|Jun 11, 2020

Advanced Numerical Analysis Techniques参考文献 9被引用数 8

ひとこと要約

この論文は、SO(3)における位相的制約により、回転行列をクォータニオンまたはオイラー角に変換するニューラルネットワークは、最大180°の誤差を避けられないことを証明しており、R⁵やR⁶への標準的な埋め込みは入力の対称性によって失敗することを示している。著者らは、領域別に学習する複数のネットワークを用いた自己選択アンサンブル法を提案し、最大誤差が4.62°というほぼゼロに近い性能を達成し、位相的罠を回避することで従来手法を上回った。

ABSTRACT

In this paper, we provide some careful analysis of certain pathological behavior of Euler angles and unit quaternions encountered in previous works related to rotation representation in neural networks. In particular, we show that for certain problems, these two representations will provably produce completely wrong results for some inputs, and that this behavior is inherent in the topological property of the problem itself and is not caused by unsuitable network architectures or training procedures. We further show that previously proposed embeddings of $\mathrm{SO}(3)$ into higher dimensional Euclidean spaces aimed at fixing this behavior are not universally effective, due to possible symmetry in the input causing changes to the topology of the input space. We propose an ensemble trick as an alternative solution.

研究の動機と目的

• 3次元回転をオイラー角やクォータニオンで正確に表現できないニューラルネットワークの理由を理論的に分析すること。
• SO(3)からR⁴（クォータニオン）またはR³への連続写像において、最大180°の誤差が位相的に避けられないことを証明すること。
• 入力の対称性が入力空間の位相を変化させることで、R⁵やR⁶への既存の埋め込みが効果を失うことを示すこと。
• 位相的障害を回避する、強力で一般化可能な回転表現の解決策を開発すること。
• アンサンブルのニューラルネットワークを用いた実験を通じて、理論的主張を検証すること。

提案手法

• SO(3)からR⁴への任意の連続関数は、ある点で真の回転から180°異なる出力を生じることを証明すること。
• 代数的位相幾何学を用いて、入力の対称性が入力空間を単純接続でない状態に変え、R⁵やR⁶への埋め込みが失敗することを示すこと。
• 各ネットワークがSO(3)の異なる領域を学習する自己選択アンサンブル法を提案し、位相的障害を回避すること。
• 各ネットワークの指定された領域外の出力をペナルティ化する修正された損失関数を設計し、局所的な正しく動作する挙動を強制すること。
• 2段階の訓練戦略を用いる：まず領域別損失関数で学習し、その後標準損失関数で性能を微調整すること。
• SO(4)を被覆空間として用い、4つのネットワークを構築し、それらの正しい領域の総和がSO(3)を位相的矛盾なく被覆するようにすること。

実験結果

リサーチクエスチョン

• RQ1 SO(3)からR⁴への連続的ニューラルネットワーク写像は、180°を超える誤差を避けられるか？
• RQ2 なぜSO(3)をR⁵やR⁶に埋め込む標準的手法は、入力の対称性があると失敗するのか？
• RQ3 ネットワークのアンサンブルは、回転表現における位相的障害を克服できるか？
• RQ4 最大誤差がほぼゼロに近いニューラルネットワークアンサンブルを構築することは可能か？
• RQ5 入力の対称性は、入力空間の位相と回転表現の性能にどのように影響するか？

主な発見

• SO(3)からR⁴への連続的ニューラルネットワーク写像は、位相的制約のため、ある入力に対しては180°以上の誤差を生じる必要がある。
• 入力の対称性が入力空間を単純接続でない状態に変え、R⁵やR⁶への埋め込みが普遍的に効果を失うため、効果的ではない。
• 自己選択アンサンブル法により、4つのネットワークを用いて最大誤差を4.62°まで低減し、従来のアンサンブルを上回った。
• 提案手法で訓練された5つのネットワークからなるアンサンブルは、最大誤差がわずか8.71°にまで低下し、その頑健性を示した。
• 定理14の理論的構成に基づく手作業で設計されたアンサンブルは、最大誤差4.62°を達成し、理論的枠組みの妥当性を確認した。
• 領域別損失関数を用いた訓練は、特に2段階の訓練スケジュールと組み合わせることで、位相的一般化性能が著しく向上した。