[論文レビュー] Local Spectral Graph Convolution for Point Set Feature Learning

Chu Wang, Babak Samari+1 more|arXiv (Cornell University)|Mar 15, 2018

3D Shape Modeling and Analysis参考文献 18被引用数 61

ひとこと要約

本論文は、k-NN近傍上での局所スペクトルグラフ畳み込みと再帰的クラスタプーリングを導入し、点群の結合近傍特徴を学習する手法を提案する。PointNet++と比較して分類とセグメンテーションで最先端の結果を達成している。

ABSTRACT

Feature learning on point clouds has shown great promise, with the introduction of effective and generalizable deep learning frameworks such as pointnet++. Thus far, however, point features have been abstracted in an independent and isolated manner, ignoring the relative layout of neighboring points as well as their features. In the present article, we propose to overcome this limitation by using spectral graph convolution on a local graph, combined with a novel graph pooling strategy. In our approach, graph convolution is carried out on a nearest neighbor graph constructed from a point's neighborhood, such that features are jointly learned. We replace the standard max pooling step with a recursive clustering and pooling strategy, devised to aggregate information from within clusters of nodes that are close to one another in their spectral coordinates, leading to richer overall feature descriptors. Through extensive experiments on diverse datasets, we show a consistent demonstrable advantage for the tasks of both point set classification and segmentation.

研究の動機と目的

• 隣接構造を取り入れて、組織化されていない3D点群で頑健な特徴学習を促進する。
• 孤立した点ごとの特徴ではなく、k-NN近傍から結合特徴を学習する。
• 最大プーリングを再帰的クラスタプーリングに置換し、複数の顕著な局所特徴を捉える。
• オフラインの事前計算なしで動的にグラフを構築する、エンドツーエンドで訓練可能なフレームワークを開発する。

提案手法

• 各点の近傍に局所的なk-NNグラフを構築し、そのラプラシアンを計算する。
• グラフフーリエ変換を適用して近傍特徴のスペクトル表現を得る。
• グラフフーリエ領域でスペクトルフィルタを学習し、空間領域に変換する。
• Fiedlerベクトルに導かれた再帰的スペクトルクラスタプーリングで、類似のスペクトル座標を持つクラスタ内を集約するように、最大プーリングを置換する。
• 局所スペクトル畳み込みを、エンドツーエンド訓練とオフライングラフ事前計算なしのPointNet++風フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 局所スペクトルグラフ畳み込みは、PointNet++における従来の点ごとMLPより特徴学習を改善しますか？
• RQ2 スペクトル座標の再帰的クラスタプーリングは、標準の最大プーリングより複数の顕著な局所特徴をよりよく捉えることができますか？
• RQ3 この手法は入力サイズに対してスケーラブルで、オフラインのグラフ事前計算なしのエンドツーエンド訓練に対応していますか？
• RQ4 分類とセグメンテーションのための一般的な3D点群ベンチマークで、どの程度の性能向上が観測されましたか？

主な発見

• 局所k-NNグラフ上のスペクトルグラフ畳み込みは、点ごとMLPを上回る（例：ModelNet40で4l-spec-max vs 4l-pointnet++）。
• 再帰的クラスタプーリングは最大プーリングを上回る追加の利得を提供し、分類とセグメンテーションの結果を改善する。
• 提案された4l-spec-cpモデルはModelNet40、ShapeNet、ScanNetデータセットで競争力のあるまたは最先端の結果を達成する。
• この手法は、3D形状ベンチマーク（McGill Shape Benchmark、ModelNet40）および大規模な室内セグメンテーション（ScanNet）で従来手法と比較して改善をもたらす。
• 局所グラフの固有分解にもかかわらず、局所近傍のkが小さいため訓練時間はPointNet++と同等である。