[論文レビュー] Rotation-Invariant Local-to-Global Representation Learning for 3D Point Cloud

Seohyun Kim, Jaeyoo Park+1 more|arXiv (Cornell University)|Oct 7, 2020

3D Shape Modeling and Analysis参考文献 27被引用数 43

ひとこと要約

RI-GCNを紹介する。回転不変で局所からグローバルへと展開するグラフ畳み込みフレームワークで、回転データ拡張を用いずに回転頑健な特徴を学習し、回転拡張ベンチマークで最先端の結果を達成する。

ABSTRACT

We propose a local-to-global representation learning algorithm for 3D point cloud data, which is appropriate to handle various geometric transformations, especially rotation, without explicit data augmentation with respect to the transformations. Our model takes advantage of multi-level abstraction based on graph convolutional neural networks, which constructs a descriptor hierarchy to encode rotation-invariant shape information of an input object in a bottom-up manner. The descriptors in each level are obtained from a neural network based on a graph via stochastic sampling of 3D points, which is effective in making the learned representations robust to the variations of input data. The proposed algorithm presents the state-of-the-art performance on the rotation-augmented 3D object recognition and segmentation benchmarks, and we further analyze its characteristics through comprehensive ablative experiments.

研究の動機と目的

• 広範なデータ拡張に依存せず、3D点群で回転不変の認識を動機づける。
• 回転に頑健なグラフ畳み込みベースの局所からグローバルへデータ表現学習フレームワークを開発する。
• 局所参照フレームと確率的隣接サンプリングを用いて局所記述子を構築し、表現を正則化する。
• 階層的な記述子拡張とグラフベースの抽象化を構築して、グローバル構造を捉える。
• 回転拡張を施した3D物体分類とセグメンテーションのベンチマークで最先端の性能を示す。

提案手法

• 局所領域を局所近傍のPCAから導かれる局所参照フレームに射影することにより、局所回転不変記述子を構築する。
• ランダムな k と膨張率 d を用いた確率的膨張型k-NN探索で近傍を抽出し、記述子を正則化する。
• 高次レベルで点数を減らした記述子拡張を用いて階層的に記述子を拡張し、受容野を拡大する。
• 確率的k-NNグラフを用いたグラフ畳み込みネットワークを適用して、局所記述子を文脈対応のグローバル表現へと集約する。
• 多段のGCN出力を結合し、最後に最大プーリングを適用して物体分類またはセグメンテーションを行う。
• グローバル座標ではなく局所参照フレームで動作することにより回転不変性を維持する。

実験結果

リサーチクエスチョン

• RQ1 明示的な回転拡張を用いずに3D点群の回転不変特徴を学習できるか。
• RQ2 確率的グラフサンプリングを伴う局所からグローバルへの表現階層は回転頑健性と精度を向上させるか。
• RQ3 回転とノイズ下で、局所参照フレームベースの記述子はグローバル座標アプローチとどのように比較されるか。
• RQ4 階層的レベルと確率的膨張が分類とセグメンテーションの性能に与える影響は何か。

主な発見

• RI-GCNは3D物体分類とセグメンテーションの回転拡張ベンチマークで最先端の精度を達成。
• 確率的学習（d, k, and hat{k}）は決定論的な変種よりもz/SO(3)の頑健性を一貫して向上させる。
• GCNベースの集約は、局所コンテキストの保持と回転頑健性の向上においてMLPベースの代替を上回る。
• 局所変換ベース（点ごとのLRF）記述子は、回転頑健性テストでグローバル回転アプローチを上回る。
• 階層レベルを3レベルまで増やすと性能が向上し、それ以降は増分が小さくなる。
• RI-GCNはガウスノイズと外れ値に対して強い頑健性を示し、回転済み入力にも良く一般化する。