[論文レビュー] PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation

Charles R. Qi, Hao Su+2 more|arXiv (Cornell University)|Dec 2, 2016

3D Shape Modeling and Analysis参考文献 25被引用数 2,879

ひとこと要約

PointNet は、対称的な最大プーリングアーキテクチャを用いて、未順序の生の3D点群を直接消費し、3D物体分類、部品セマンティックセグメンテーション、シーンのセマンティック解析を実行する。理論的保証と強力な実証的結果を持つ。

ABSTRACT

Point cloud is an important type of geometric data structure. Due to its irregular format, most researchers transform such data to regular 3D voxel grids or collections of images. This, however, renders data unnecessarily voluminous and causes issues. In this paper, we design a novel type of neural network that directly consumes point clouds and well respects the permutation invariance of points in the input. Our network, named PointNet, provides a unified architecture for applications ranging from object classification, part segmentation, to scene semantic parsing. Though simple, PointNet is highly efficient and effective. Empirically, it shows strong performance on par or even better than state of the art. Theoretically, we provide analysis towards understanding of what the network has learnt and why the network is robust with respect to input perturbation and corruption.

研究の動機と目的

• ボクセル化やレンダリングを用いず、未順序の3D点集合上で直接動作するニューラルネットを開発する。
• 学習表現の順列不変性と変換（剛体/アフィン）不変性を保証する。
• 物体分類、部品セグメンテーション、シーンセマンティック解析の統一アーキテクチャを提供する。
• 普遍近似性、安定性、および入力摂動に対するロバスト性の理論分析を提供する。
• 標準的な3Dベンチマークでの実証性能を示し、効率とスケーラビリティを分析する。

提案手法

• パー点特徴をグローバル形状記述子へ統合する対称関数（最大プーリング）を使い、順列不変性を可能にする。
• 共有MLPを通じて各点特徴を計算し、最大値でプールしてグローバルベクターを形成する。
• 入力変換ネットワーク（T-net）と特徴変換ネットワークを組み込み、点座標と学習特徴を正規化し、特徴変換を直交近傍に保つ正則化項を追加する。
• セグメンテーションでは、グローバル特徴を各点の局所特徴と連結し、各点分類器を適用して各点ラベルを生成する。
• 連続集合関数の普遍近似性を示す理論分析と、ロバスト性の境界に基づく解釈（臨界点集合）を提供する。
• 部分データや外れ値、摂動に対する頑健性を示し、ボクセルベース、マルチビュー、他の3D表現と比較する。

実験結果

リサーチクエスチョン

• RQ1 順列不変性を尊重しつつ、無順序の点集合を直接処理できるニューラルネットワークは作れるか？
• RQ2 単一のアーキテクチャで複数の3Dタスク（分類、部品セグメンテーション、シーンセグメンテーション）を効果的に扱えるか？
• RQ3 入力摂動、欠損データ、外れ値に対してモデルはどれほど頑健か？
• RQ4 ネットワークの性能と頑健性を説明する理論的特性は何か？
• RQ5 PointNet は標準的な3Dベンチマークで最先端手法と比べてどうか？

主な発見

• PointNet は体積的表現やマルチビューアプローチと比較した場合、3D入力（点群）のみを用いる手法の中で ModelNet40 における最先端性能を達成している。
• モデルは ModelNet40 の分類で平均クラス精度 86.2%、総合精度 89.2% を達成。
• ShapeNet の形状部品セグメンテーションで、PointNet は IoU 平均 47.71%、総合精度 78.62% を達成。
• Stanford 3D データセットの意味セグメンテーションでは、PointNet は手作り特徴のベースラインを上回り（Table 3 に有意な向上を報告）。
• ネットワークは部分データや外れ値に対して頑健で、最大 50% の点を削除しても精度の低下は小さく、最大 20% の外れ値にも耐性がある。
• PointNet は計算効率が良く、O(N) 時間/空間計算量で、ハイエンドGPUで分類は秒間1百万点以上、セグメンテーションは約2室/秒程度処理可能。