[論文レビュー] Mining Point Cloud Local Structures by Kernel Correlation and Graph Pooling

Yiru Shen, Chen Feng+2 more|arXiv (Cornell University)|Dec 19, 2017

3D Shape Modeling and Analysis参考文献 37被引用数 43

ひとこと要約

この論文は、局所的な幾何構造のマイニングにカーネル相関を導入し、局所的特徴構造の集約にグラフプーリングを用いるPointNetベースのアーキテクチャ、KCNetを提案する。近隣の幾何構造に応じて応答する点集合カーネルを学習し、最近傍グラフ上で特徴を再帰的に集約することで、KCNetはModelNet40およびShapeNetPartで最先端の性能を達成し、PointNet++と比較してノイズにさらに対応可能で、パラメータ数も削減された。

ABSTRACT

Unlike on images, semantic learning on 3D point clouds using a deep network is challenging due to the naturally unordered data structure. Among existing works, PointNet has achieved promising results by directly learning on point sets. However, it does not take full advantage of a point's local neighborhood that contains fine-grained structural information which turns out to be helpful towards better semantic learning. In this regard, we present two new operations to improve PointNet with a more efficient exploitation of local structures. The first one focuses on local 3D geometric structures. In analogy to a convolution kernel for images, we define a point-set kernel as a set of learnable 3D points that jointly respond to a set of neighboring data points according to their geometric affinities measured by kernel correlation, adapted from a similar technique for point cloud registration. The second one exploits local high-dimensional feature structures by recursive feature aggregation on a nearest-neighbor-graph computed from 3D positions. Experiments show that our network can efficiently capture local information and robustly achieve better performances on major datasets. Our code is available at http://www.merl.com/research/license#KCNet

研究の動機と目的

• 順序のない3次元点群における細分化された局所的幾何構造と特徴構造を捉える点群ネットワーク（PointNet）の限界を解消すること。
• アーキテクチャの複雑さを増さずに、明確な幾何的解釈を持つ効率的で学習可能な演算を考案すること。
• 新規な深層学習演算を用いて局所的近傍パターンを活用することで、3次元点群における意味的学習性能を向上させること。

提案手法

• 点のK個の最近傍点に基づく幾何的類似度（カーネル相関）によって、点の近傍と関連付けられるM個の3次元点からなる学習可能な点集合カーネルを定義するカーネル相関層を導入する。
• カーネル相関——点群登録から適応された微分可能な類似度測定——を用いて、点の近傍と学習可能なカーネル間の類似度を計算し、コーナー、エッジ、表面などの複雑な局所構造を捉える。
• 3次元ユークリッド距離から事前に計算された最近傍グラフ上でグラフプーリングを適用し、局所的な高次元特徴構造を保持する再帰的特徴集約を可能にする。
• カーネル相関とグラフプーリングを変更されたPointNetアーキテクチャに統合し、特徴の連結とReLU/ソフトマックス活性化関数を用いるが、バッチ正規化は簡素化のため使用しない。
• 順列不変性を保証するため、最大プーリングによる対称関数を用いる。グラフ最大プーリングは平均プーリングより性能と速度に優れるため選択された。
• 標準的な交差エントロピー損失を用いてエンドツーエンドで学習し、過学習を防ぐためにドロップアウトは最終的なMLP層にのみ適用する。

実験結果

リサーチクエスチョン

• RQ1 カーネル相関による幾何的類似度を介した学習可能な点集合カーネルは、平面、エッジ、コーナーなどの複雑な局所的3次元構造を点群で効果的に捉えることができるか？
• RQ2 グラフプーリングによる局所的特徴構造の統合は、PointNetの1点ごとの特徴学習を越えて意味的表現を向上させるか？
• RQ3 標準的な3次元点群ベンチマークにおいて、提案手法はPointNetおよびPointNet++と比較して性能と耐障害性に優れているか？
• RQ4 ハイパーパrameter（L, M, σ）のうち、モデルの精度と一般化性能に顕著な影響を与えるものは何か？また、最適値は何か？
• RQ5 特にランダムに汚染された点が挿入された場合、モデルはどれほど耐障害性を保っているか？

主な発見

• KCNetはModelNet40のテストセットで91.0%の精度を達成し、ベーシックなPointNet（87.2%）を上回り、表面法線を用いない点群のみを入力としているにもかかわらずPointNet++と同等またはそれを上回った。
• カーネル相関層のみを用いても90.5%の精度に到達し、単なる点特徴を超えた局所的幾何構造の捉え具合の有効性が示された。
• グラフ最大プーリングは平均プーリング（88.6% 対 88.0%）に対してわずかだが一貫した改善をもたらし、ノイズにさらに対応可能で高速であった。
• カーネル相関とグラフプーリングの両方を含む完全なKCNetモデルは91.0%の精度を達成し、両者の局所構造学習メカニズムが相補的であることを確認した。
• KCNetはランダムノイズに対して顕著に耐障害性を示した：10%の点がノイズに置き換えられた場合、KCNetの精度低下は23.8%（67.2%に低下）にとどまり、PointNetは58.6%（30.6%に低下）まで低下した。
• アブレーションスタディの結果、最適な設定はL=32個のカーネル、M=16個のカーネル点、σ=5e-3であり、性能と一般化のバランスが取れていた。