[論文レビュー] 3DTI-Net: Learn Inner Transform Invariant 3D Geometry Features using Dynamic GCN

Guanghua Pan, Jun Wang+2 more|arXiv (Cornell University)|Dec 15, 2018

3D Shape Modeling and Analysis参考文献 13被引用数 13

ひとこと要約

3DTI-Net は、動的グラフを用いて局所的な点同士の相関関係をモデル化することで、剛体変換に対して不変な内因性の3次元幾何特徴を学習するグラフ畳み込みネットワーク（GCN）ベースのディーブラーニングフレームワークである。回転させた3次元オブジェクト分類において最先端の性能を達成し、データオーグメンテーションや複雑な前処理を必要とせず、分割分類においても競争力ある結果を示す。空間的に局所化されたグラフフィルタを活用することで、計算効率が高く、ノイズや点密度が低い状況に対しても頑健である。

ABSTRACT

Deep learning on point clouds has made a lot of progress recently. Many point cloud dedicated deep learning frameworks, such as PointNet and PointNet++, have shown advantages in accuracy and speed comparing to those using traditional 3D convolution algorithms. However, nearly all of these methods face a challenge, since the coordinates of the point cloud are decided by the coordinate system, they cannot handle the problem of 3D transform invariance properly. In this paper, we propose a general framework for point cloud learning. We achieve transform invariance by learning inner 3D geometry feature based on local graph representation, and propose a feature extraction network based on graph convolution network. Through experiments on classification and segmentation tasks, our method achieves state-of-the-art performance in rotated 3D object classification, and achieve competitive performance with the state-of-the-art in classification and segmentation tasks with fixed coordinate value.

研究の動機と目的

• 3 次元点群ディーブラーニングにおける 3 次元変換不変性、特に回転不変性の課題に取り組むこと。これは、異なる方向への一般化を制限する要因である。
• 絶対座標に依存せず、点同士の相関関係から内因的な 3 次元幾何特徴を学習することで、座標系の変化に対してより頑健になるようにすること。
• 前処理、事前学習、データオーグメンテーションを必要としない、一般用途向けのエンド・ツー・エンドのディーブラーニングフレームワークを構築すること。
• ノイズが多い、点密度が低い、回転させた点群の条件下でも分類および分割タスクにおいて高い効率性と頑健性を達成すること。

提案手法

• 局所的な K 個の最近傍点を用いて、空間的関係と局所的幾何を符号化する点群のグラフ表現を提案する。
• 学習済み特徴空間における距離に基づいて近傍関係を再計算する動的グラフ更新戦略を導入し、マルチスケール特徴の学習を可能にする。
• 受容 field が増加する多段階 GCN アーキテクチャを採用：最初に K=200 の近傍点を使用し、次に K=1000 に増加させ、最後に完全接続グラフを用いてグローバル統合を実現する。
• 相対的な点同士の関係に注目することで絶対位置に依存しない幾何的不変性を保つ、変換不変な特徴プーリング機構を設計する。
• K ステップ内の近傍点からの特徴を集約する空間的に局所化されたフィルタを備えた学習可能なグラフ畳み込み層を採用し、局所的不変性と空間的一致性を確保する。
• ボクセル化やマルチビュー再構成を避けて、座標と法線を入力として、生の点群上でエンド・ツー・エンドにモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 データオーグメンテーションに依存せずに、回転を含む剛体変換に対して不変な 3 次元幾何特徴を学習できるか？
• RQ2 グラフ畳み込みネットワークを用いて、点同士の内因的な幾何的関係を効果的にモデル化し、学習できるか？
• RQ3 学習済み特徴に基づいて近傍構造を適応的に変更する動的グラフ更新戦略は、特徴表現の向上に寄与するか？
• RQ4 空間的に局所化されたフィルタを備えた GCN アーキテクチャは、ポイントワイドまたはグローバルプーリング手法に比べ、3 次元点群タスクでより優れた性能と頑健性を達成できるか？
• RQ5 生の点群を入力として学習したモデルは、計算コストとパラメータ数を抑えたまま、分類および分割タスクで最先端の性能を達成できるか？

主な発見

• 標準評価（回転なし）下での ModelNet40 における全体精度は 91.7% を達成し、PointNet や PointNet++ を上回りながらも、より少ないパラメータ数と短い推論時間で実現した。
• 256 点のみで 88.3% の精度を維持しており、PointNet よりも点密度が低い状況でも顕著な頑健性を示した。
• ShapeNet 分割タスクでは 84.9% の mIoU を達成し、PointNet や PointNet++、DGCNN と同等またはそれを上回り、パラメータ効率性において優れた性能を示した。
• ガウスノイズに対して強い頑健性を示し、σ=0.1 のノイズ下でも高い精度を維持しており、実世界のノイズデータにおいて安定性があることを示した。
• SO(3) 不変評価（回転させたテスト）においても 3DTI-Net は一貫した性能を維持したのに対し、他の手法は急激な性能低下を示した。これにより、その本質的な回転不変性が裏付けられた。
• 動的グラフ更新戦略は特徴表現を顕著に向上させ、マルチスケール学習を可能にし、複雑な局所幾何に対して性能向上をもたらした。