[論文レビュー] SO-Net: Self-Organizing Network for Point Cloud Analysis

Jiaxin Li, Ben M. Chen+1 more|arXiv (Cornell University)|Mar 12, 2018

3D Shape Modeling and Analysis参考文献 18被引用数 96

ひとこと要約

SO-Net は自己組織化マップを用いて点群の階層的特徴抽出を導くことで置換不変性を持つアーキテクチャを提案し、トレーニングを高速化しつつ競争力のある精度を達成する。

ABSTRACT

This paper presents SO-Net, a permutation invariant architecture for deep learning with orderless point clouds. The SO-Net models the spatial distribution of point cloud by building a Self-Organizing Map (SOM). Based on the SOM, SO-Net performs hierarchical feature extraction on individual points and SOM nodes, and ultimately represents the input point cloud by a single feature vector. The receptive field of the network can be systematically adjusted by conducting point-to-node k nearest neighbor search. In recognition tasks such as point cloud reconstruction, classification, object part segmentation and shape retrieval, our proposed network demonstrates performance that is similar with or better than state-of-the-art approaches. In addition, the training speed is significantly faster than existing point cloud recognition networks because of the parallelizability and simplicity of the proposed architecture. Our code is available at the project website. https://github.com/lijx10/SO-Net

研究の動機と目的

• 不規則な3D点群に対する効率的で置換不変な深層学習を動機づける。
• 点の空間分布を自己組織化マップ（SOM）でモデル化し、特徴抽出を誘導する。
• SOM を介して点とノード間の kNN による階層的で重なりのある受容野を実現する。
• SOM 誘導のエンコーディングが分類・セグメンテーション・自己符号化の競争力のある結果を生むことを示す。
• 最先端の点群ネットワークと比較してトレーニングを高速化することを示す。

提案手法

• 入力点分布を捉える8x8のSOMを構築し、置換不変性のために初期ノードを固定する。
• 更新の置換不変性を保証するためにバッチSOMトレーニングを行う。
• 各点についてSOMノードの最も近いk個を探索し、これらのノードで点を正規化する。
• 各SOMノードに付随するミニ点群を共有の全結合層（PointNet風）でエンコードし、最大プーリングしてノード特徴を形成する。
• ノード特徴をグローバル特徴ベクトルへ集約し、分類・再構成・セグメンテーションをさらに共有層で実現する。
• チェンファー損失で教師付けした二分岐アーキテクチャ（全結合とアップコンボリューション）を用いた点群自己符号化用デコーダをエンコーダに追加する。

実験結果

リサーチクエスチョン

• RQ1 置換不変ネットワークは点群の空間分布を効果的にモデル化できるか。
• RQ2 自己組織化マップは受容野の重なりを制御し、点群の局所特徴の統合を改善できるか。
• RQ3 SO-Net は分類・セグメンテーション・再構成タスクで競争力のある性能を発揮し、トレーニング時間を速くできるか。
• RQ4 点群自己符号化の事前学習はダウンストリームのタスクを改善するか。
• RQ5 SOM のサイズや点/ SOM の摂動の変動に対して SO-Net はどれくらい頑健か。

主な発見

• SO-Net は点群分類と形状検索タスクで競争力のある性能を達成し、報告されている実験でいくつかのベースラインを上回る改善を示した。
• 提案された自己符号化器を用いた事前学習は ModelNet10 分類で約0.5%の相対的な利得を提供し、ModelNet40 ではより小さな利得を示した。
• トレーニング時間は著しく速く、例えば GTX-1080Ti で ModelNet40 をトレーニングするのに約3時間程度で済むなど、最先端手法と比較して有利である。
• SO-Net はSOMと点の摂動に対して頑健であり、中程度のSOMノイズや入力の破損下でも精度を維持する。
• 階層的な層を増やす（Grouping&PNモジュールを繰り返す）と ModelNet40/ModelNet10 の精度がさらに向上するが、過度の深さは過学習につながる可能性がある。