[論文レビュー] 3D Point Cloud Classification and Segmentation using 3D Modified Fisher Vector Representation for Convolutional Neural Networks

Yizhak Ben-Shabat, Michael Lindenbaum+1 more|arXiv (Cornell University)|Nov 22, 2017

3D Shape Modeling and Analysis参考文献 24被引用数 49

ひとこと要約

本稿では、3次元グリッド構造と連続的フィッシャー・ベクトル成分を組み合わせたハイブリッド点群表現 3D Modified Fisher Vectors (3DmFV) を提案する。この手法により、新規の畳み込みニューラルネットワーク（CNN）アーキテクチャ（3DmFV-Net）を用いて、効率的かつ高精度に3次元点群分類およびパーツセグメンテーションが可能になる。本手法は、ベンチマークデータセットにおいて最先端の性能を達成し、ノイズやデータ損傷に対しても頑健である。非学習的特徴量が、エンドツーエンド学習を必要としないまま強力な結果をもたらすことが示された。

ABSTRACT

The point cloud is gaining prominence as a method for representing 3D shapes, but its irregular format poses a challenge for deep learning methods. The common solution of transforming the data into a 3D voxel grid introduces its own challenges, mainly large memory size. In this paper we propose a novel 3D point cloud representation called 3D Modified Fisher Vectors (3DmFV). Our representation is hybrid as it combines the discrete structure of a grid with continuous generalization of Fisher vectors, in a compact and computationally efficient way. Using the grid enables us to design a new CNN architecture for point cloud classification and part segmentation. In a series of experiments we demonstrate competitive performance or even better than state-of-the-art on challenging benchmark datasets.

研究の動機と目的

• 非構造的かつ順序のない 3次元点群に畳み込みニューラルネットワーク（CNN）を適用する課題に対処すること。点群は自然にグリッドアーキテクチャに適合しない。
• 微細な点群の詳細を保持しつつ、CNN 処理が可能となる、コンパクトで計算的に効率的かつ順序に依存しない表現を構築すること。
• 3DmFV 表現に特化した新しい 3次元 CNN アーキテクチャ（3DmFV-Net）を設計し、点群分類およびパーツセグメンテーションに用いること。
• 点の削除、外れ値、ノイズ、回転などの一般的な現実世界のデータ損傷に対して、本手法の頑健性を評価すること。
• エンドツーエンド学習が常に必要であるという仮定に反して、非学習的で手作業で作成された特徴量が、最先端の性能を達成できることを示すこと。

提案手法

• 3DmFV 表現は、3次元グリッド上の均一なガウス分布を用いた混合ガウスモデル（GMM）を用い、点群データをクラスタ中心からのずれとして符号化する。
• 平均ベースの統計量に代えて、点集合の任意関数を用いることで、フィッシャー・ベクトルを一般化し、より豊かで意味のある特徴成分を可能にする。
• グリッド構造により空間的整列が得られるとともに、連続的かつ微分可能な表現を維持するため、CNN の有効な適用が可能になる。
• 3DmFV 入力に特化した新しい 3DmFV-Net アーキテクチャを設計し、3次元畳み込みを用いて点群分類およびパーツセグメンテーションを実行する。
• 特徴量自体は教師なしで非学習的であるが、3DmFV 特徴量上でエンドツーエンドで学習を行う。
• ロバストネスは、点の削除、外れ値、摂動ノイズ、ランダム回転などのさまざまな損傷条件下で、学習およびテストを実施して評価する。

実験結果

リサーチクエスチョン

• RQ1 離散的グリッド構造と連続的フィッシャー・ベクトル成分を組み合わせたハイブリッド表現は、CNN を用いた効果的な 3次元点群分類を可能にするか？
• RQ2 非学習的で教師なしの特徴表現（3DmFV）を用いても、3次元点群解析で最先端の性能を達成できるか？
• RQ3 欠損点、ノイズ、回転などの現実世界のデータ損傷条件下で、3DmFV-Net はどのように性能を発揮するか？
• RQ4 3DmFV 表現は、不均衡なデータセットにおいてもパーツセグメンテーションに効果的に拡張可能か？また、競争力のある結果を得られるか？
• RQ5 すべてのコンponents をエンドツーエンドで学習する必要があるのか、それとも手作業で作成された特徴量で十分な性能が得られるか？

主な発見

• 3DmFV-Net は、ModelNet10 および ModelNet40 ベンチマークで、それぞれ 84.3% および 82.0% の平均クラス正解率を達成し、分類性能で最先端を記録した。
• ShapeNet パーツセグメンテーションデータセットでは、平均交差率（IoU）が 94.0% に達し、全手法の中で総平均 IoU で最高を記録した。
• パーツセグメンテーションにおいて、16 カテゴリー中 9 カテゴリーで最高性能を達成し、他の手法が最高で 4 カテゴリーしか獲得できないのに対し、顕著な優位性を示した。
• 摂動ノイズおよび一様な点削除に対して高い頑健性を示し、これらの条件下でも精度の低下が最小限に抑えられた。
• グリッド解像度および入力点数の増加に伴い性能が飽和し、ある閾値を超えると利得が減少することが示された。
• 標準偏差の選択にあまり影響されず、適切な値であれば空の FV 表現を避けることができた。