[論文レビュー] Quaternion Equivariant Capsule Networks for 3D Point Clouds

Yongheng Zhao, Tolga Birdal+4 more|arXiv (Cornell University)|Dec 27, 2019

3D Shape Modeling and Analysis参考文献 77被引用数 10

ひとこと要約

本稿は、3次元点群に対してSO(3)回転および平行移動の等長性を達成するとともに、順列不変性を有する新規なクaternion等長型キャプセルネットワーク（QEC）を提案する。局所基準枠（LRF）の集約にクォータニオンを用いた動的ルーティングに基づくWeiszfeldアルゴリズムを用いることで、物体の幾何構造とポーズを分離可能にし、明示的なポーズの教師信号なしに3次元分類と回転推定を統合的に行える。ModelNet10およびModelNet40において最先端の性能を達成した。

ABSTRACT

We present a 3D capsule module for processing point clouds that is equivariant to 3D rotations and translations, as well as invariant to permutations of the input points. The operator receives a sparse set of local reference frames, computed from an input point cloud and establishes end-to-end transformation equivariance through a novel dynamic routing procedure on quaternions. Further, we theoretically connect dynamic routing between capsules to the well-known Weiszfeld algorithm, a scheme for solving \emph{iterative re-weighted least squares} (IRLS) problems with provable convergence properties. It is shown that such group dynamic routing can be interpreted as robust IRLS rotation averaging on capsule votes, where information is routed based on the final inlier scores. Based on our operator, we build a capsule network that disentangles geometry from pose, paving the way for more informative descriptors and a structured latent space. Our architecture allows joint object classification and orientation estimation without explicit supervision of rotations. We validate our algorithm empirically on common benchmark datasets.

研究の動機と目的

• 3次元回転および平行移動に対して等長的で、点の順列に対して不変な3次元キャプセルネットワークの開発。
• 回転の教師信号なしに、3次元物体分類と方向推定を統合的に実行可能にする。
• 動的ルーティングを、収束が保証されるロバスト最適化フレームワーク（Weiszfeldアルゴリズム）と理論的に結びつけることによる、収束の保証。
• クォータニオン値のキャプセルを用いて、潜在空間における幾何特徴とポーズの分離を実現する。
• スパースLRFとロバストルーティングを用いることで、点密度の変動や再サンプリングに対しても頑健な性能を達成する。

提案手法

• 3次元点群から導出されるスパースな局所基準枠（LRF）を処理するクォータニオン等長型キャプセル（QEC）モジュールを提案。
• 収束性とロバスト性を保証するWeiszfeldアルゴリズムに基づく新規な動的ルーティング機構を採用し、クォータニオンベースのキャプセル投票を反復的に改善する。
• Weiszfeld反復からのインライヤースコアを活性化関数として用い、キャプセル層間の情報ルーティングを実現。これにより等長的特徴集約が可能になる。
• 下位レベルのLRFを高レベルのキャプセルにプーリングする階層的キャプセルネットワークを構築。高レベルのキャプセルは物体レベルの幾何構造と方向性を表現する。
• 分類損失を唯一の学習信号として用いることで、回転アノテーションが不要な自己教師型方向推定を実現する。
• 2つの点群間の相対回転を推定するために、シアン方式の変種を適応し、キャプセル表現の一致を図る。

実験結果

リサーチクエスチョン

• RQ1 キャプセルネットワークにおける動的ルーティングは、収束が保証されるロバスト最適化フレームワーク（Weiszfeldアルゴリズム）と理論的に結びつけられるか？
• RQ2 スパースなLRFとクォータニオン表現を用いて、3次元キャプセルネットワークで完全なSO(3)回転等長性を達成できるか？
• RQ3 明示的なポーズの教師信号なしに、キャプセルネットワークが3次元分類と方向推定を同時に実行できるか？
• RQ4 本手法は、点密度の変動や入力点群のランダムな再サンプリングに対してどれほど頑健か？
• RQ5 構造的かつ解釈可能な潜在空間において、幾何特徴とポーズを体系的に分離できるか？

主な発見

• 提案されたQECネットワークは、厳しい再サンプリングおよび回転条件下で、ModelNet10の非対称サブセットにおいて、最先端の相対的角誤差（RAE）0.09を達成した。
• ModelNet40の非対称サブセットではRAEを0.10まで低下させ、PCA、Mean LRF、さらには回転増強を多用するIT-Net や PointNetLK に対しても優れた性能を示した。
• アブレーションスタディの結果、100％のパッチドロップ条件下でも分類精度87.8％およびRAE 0.09を維持し、LRFおよび点密度の変化に対して頑健であることが示された。
• 理論的解析により、Weiszfeldに基づく動的ルーティングの収束性が確認され、キャプセルルーティングが反復加重最小二乗法（IRLS）最適化と関連づけられ、収束の保証が得られた。
• 分類損失のみを用いても、明示的な回転教師信号なしに、標準的および相対的向きを正しく推定できた。
• 幾何的キャプセルネットワークやその他の不変ベースラインはポーズ推定に失敗するが、本手法は群値の潜在表現を明示的にモデル化することで、優れた性能を発揮した。