[論文レビュー] Dynamic Graph CNN for Learning on Point Clouds

Yue Wang, Yongbin Sun+4 more|arXiv (Cornell University)|Jan 24, 2018

3D Shape Modeling and Analysis参考文献 83被引用数 288

ひとこと要約

EdgeConvを導入。各層で隣人グラフを更新する動的グラフベースの点群畳み込みにより、分類とセグメンテーションのためのModelNet40とShapeNetPartで最先端の結果を達成する。

ABSTRACT

Point clouds provide a flexible geometric representation suitable for countless applications in computer graphics; they also comprise the raw output of most 3D data acquisition devices. While hand-designed features on point clouds have long been proposed in graphics and vision, however, the recent overwhelming success of convolutional neural networks (CNNs) for image analysis suggests the value of adapting insight from CNN to the point cloud world. Point clouds inherently lack topological information so designing a model to recover topology can enrich the representation power of point clouds. To this end, we propose a new neural network module dubbed EdgeConv suitable for CNN-based high-level tasks on point clouds including classification and segmentation. EdgeConv acts on graphs dynamically computed in each layer of the network. It is differentiable and can be plugged into existing architectures. Compared to existing modules operating in extrinsic space or treating each point independently, EdgeConv has several appealing properties: It incorporates local neighborhood information; it can be stacked applied to learn global shape properties; and in multi-layer systems affinity in feature space captures semantic characteristics over potentially long distances in the original embedding. We show the performance of our model on standard benchmarks including ModelNet40, ShapeNetPart, and S3DIS.

研究の動機と目的

• unordered point clouds における局所幾何学的構造を捉えるニューラルネットワークモジュールを開発する。
• 近傍情報を活用しつつ、順序不変性を保証する。
• 層ごとに動的グラフ更新を可能にし、長距離的意味関係を学習する。
• EdgeConv の適用性を、ベンチマークデータセットで最先端の結果を達成することで示す。
• 再現性を促進する分析とオープンソースコードを提供する。

提案手法

• EdgeConv を、e_{ij} = h_{ heta}(x_i, x_j) かつ x_i' = Agg_{j:(i,j) in E} e_{ij}、Agg を対称関数（例：最大値または和）としたエッジベースの特徴量集約として定義する。
• 機能空間で層ごとに k-NN グラフ G を構築し、各 EdgeConv 層の後に隣人を再計算する（動的グラフ）。
• 局所幾何を符号化するために、x_i と (x_j - x_i) を組み合わせた学習可能な MLP h_{ heta} を使用する。
• 対称プーリングを用いた隣接エッジの並べ替え不変性と、任意の自己ループで順序不変性を維持する。
• EdgeConv を PointNet に類似したアーキテクチャへ統合し、分類とセグメンテーションのための Deep Graph CNN (DGCNN) を形成する。
• EdgeConv のバリアントを比較し、中心化、動的グラフ、隣接数の影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 点群の局所的な幾何学的構造を、順序不変性を失うことなくどのように捉えることができるか？
• RQ2 層ごとに隣人グラフを動的に更新することは、点群のグローバルおよび意味的構造の学習を改善するか？
• RQ3 EdgeConv を既存の点群パイプラインへ統合して、分類とセグメンテーション性能を向上させることができるか？
• RQ4 グラフのハイパーパラメータ（k、中心化）が性能と密度変化へのロバスト性に及ぼす影響は何か？

主な発見

Model	Mean Class Accuracy	Overall Accuracy
3DShapeNets [Wu et al., 2015]	77.3	84.7
VoxNet [Maturana & Scherer, 2015]	83.0	85.9
Subvolume [Qi et al., 2016]	86.0	89.2
VRN (single view) [Brock et al., 2016]	-	-
VRN (multi-view) [Brock et al., 2016]	-	-
ECC [Simonovsky & Komodakis, 2017]	83.2	87.4
PointNet [Qi et al., 2017b]	86.0	89.2
PointNet++ [Qi et al., 2017c]	-	90.7
Kd-net [Klokov & Lempitsky, 2017]	-	90.6
PointCNN [Li et al., 2018a]	-	92.2
PCNN [Atzmon et al., 2018]	-	92.3
Ours (baseline)	88.9	91.7
Ours	90.2	92.9
Ours (2048 points)	90.7	93.5

• EdgeConv は局所幾何を効果的に捉え、積み重ねることでグローバルな形状特性を学習する。
• 層ごとの動的グラフ更新は固定グラフより性能を向上させ、ModelNet40 の分類と S3DIS のセグメンテーションで最先端の結果を達成する。
• ModelNet40 では 1024 点で mean class accuracy が 90.2%、overall accuracy が 92.9%、2048 点では 90.7% / 93.5% を達成。
• 基準となる固定グラフモデルは mean accuracy で PointNet++ を約 1.0% 上回り、動的グラフ版は PointNet++ および従来手法をより大きく上回る。
• 点のドロップアウトに対するロバスト性を示し、中心化とより多くの点の利用から利益を得る。適切に選択された k（例：k=20–40）で性能向上がみられる。
• 本アプローチは ShapeNet Part の部品セグメンテーションで強い結果を示し、さまざまなカテゴリの 3D 形状へとスケールする。