[論文レビュー] 3D-Rotation-Equivariant Quaternion Neural Networks

Wen Shen, Binbin Zhang+3 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Numerical Analysis Techniques参考文献 47被引用数 13

ひとこと要約

本稿では、入力および特徴量をクォータニオンとして表現することにより、3次元点群ネットワークの回転等長性と順列不変性を実現するためのフレームワーク、回転等長クォータニオンニューラルネットワーク（REQNNs）を提案する。クォータニオン代数を用いることで、入力点群に適用された回転が中間特徴量にも正確に反映されるように保証することで、REQNNsは任意の回転下でも顕著に高い回転耐性を達成し、ModelNet40において任意の回転下で83.03%のトップ精度を達成した。これは、困難な設定下で最先端手法を14ポイント以上上回った結果である。

ABSTRACT

This paper proposes a set of rules to revise various neural networks for 3D point cloud processing to rotation-equivariant quaternion neural networks (REQNNs). We find that when a neural network uses quaternion features under certain conditions, the network feature naturally has the rotation-equivariance property. Rotation equivariance means that applying a specific rotation transformation to the input point cloud is equivalent to applying the same rotation transformation to all intermediate-layer quaternion features. Besides, the REQNN also ensures that the intermediate-layer features are invariant to the permutation of input points. Compared with the original neural network, the REQNN exhibits higher rotation robustness.

研究の動機と目的

• 標準的な3次元点群ニューラルネットワークにおける回転耐性の欠如、特に任意または未観測の姿勢下での性能劣化を是正すること。
• 既存の3次元点群ネットワークを回転等長性および順列不変性を持つモデルに変換可能な汎用的フレームワークの開発。
• 中間クォータニオン特徴量の操作により、所望の姿勢を持つ点群再構成を可能にする。
• 分類や回帰タスクのための実数出力を維持しつつ、特徴学習段階でクォータニオンベースの等長性を保つこと。

提案手法

• 入力点群および中間特徴量をクォータニオン（ℍの要素）として表現することで、3次元回転操作をクォータニオン乗算および共役を用いて実現する。
• 畳み込み、ReLU、バッチ正則化、マックスプーリングなどのレイヤーワイズ演算を、入力に適用された回転変換と同一の回転を特徴量に適用する形に再設計し、回転等長性を達成する。
• 回転等長性を数学的に定式化し、g(R∘x∘R̄) = R∘g(x)∘R̄ と表現する。ここでRは回転クォータニオンであり、∘は要素ごとのクォータニオン乗算を表す。
• 入力の点の順序を入れ替えてもクォータニオン表現の本質的対称性を活用することで、順列不変性を確保する。
• 分類および回帰ヘッドにおける回転不変性を維持するため、最終レイヤーで各クォータニオン特徴量の成分の二乗ノルムを用いて実数出力を生成する。
• 元の入力と同じ回転を中間レイヤーのクォータニオン特徴量に適用することで、回転された点群の再構成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 既存の3次元点群ネットワークに回転等長性と順列不変性を付与する汎用的フレームワークを開発可能か？
• RQ2 クォータニオン代数をレイヤーワイズ演算に体系的に適用することで、ネットワークの深さにわたり回転等長性を維持できるか？
• RQ3 REQNNフレームワークは、標準ネットワークと比較して、任意の入力回転に対してどの程度の耐性向上を達成できるか？
• RQ4 中間クォータニオン特徴量を用いて、所望の姿勢を持つ点群を再構成可能か？制御性の実証となるか？
• RQ5 標準ネットワークをREQNNに変換する際の表現能力と耐性のトレードオフはいかほどか？

主な発見

• DGCNNをベースにしたREQNNは、ModelNet40における任意の回転（NR/AR）下で83.03%の精度を達成し、この困難な設定下ですべてのベースライン手法を上回った。
• NR/ARのシナリオにおいて、REQNNはPRINより14.18ポイント、QE-Capsuleより8.96ポイント高い精度を示し、優れた回転耐性を実証した。
• PointNet や DGCNN などの従来手法は、任意の回転下で顕著な一般化性能の劣化を示し、ModelNet40では21.93%～31.34%の精度低下を示した。
• REQNNはNR/NRおよびNR/ARの両シナリオで同一の性能を維持した。これは、厳密な回転等長性設計の整合性が裏付けられたことを示している。
• 点群再構成実験により、中間クォータニオン特徴量を回転させた場合、元の点群を直接回転させた場合と同一の姿勢を持つ再構成点群が得られた。
• 分類および回帰タスクのための実数出力を維持するため、最終レイヤーで各クォータニオン特徴量をその成分の二乗ノルムに置き換えることで、クォータニオンベースの等長性を保持した。