[論文レビュー] Learning to Segment 3D Point Clouds in 2D Image Space

Yecheng Lyu, Xinming Huang+1 more|arXiv (Cornell University)|Mar 12, 2020

3D Shape Modeling and Analysis参考文献 72被引用数 4

ひとこと要約

本論文は、整数計画法およびグラフ描画を用いたトポロジーを保全するグラフからグリッドへのマッピングにより、3次元点群を2次元画像空間に投影する新規な手法を提案する。これにより、U-Netなどの標準的な2次元畳み込みニューラルネットワーク（2D CNN）の利用が可能となり、ShapeNetおよびPartNetで最先端の性能を達成する。

ABSTRACT

In contrast to the literature where local patterns in 3D point clouds are captured by customized convolutional operators, in this paper we study the problem of how to effectively and efficiently project such point clouds into a 2D image space so that traditional 2D convolutional neural networks (CNNs) such as U-Net can be applied for segmentation. To this end, we are motivated by graph drawing and reformulate it as an integer programming problem to learn the topology-preserving graph-to-grid mapping for each individual point cloud. To accelerate the computation in practice, we further propose a novel hierarchical approximate algorithm. With the help of the Delaunay triangulation for graph construction from point clouds and a multi-scale U-Net for segmentation, we manage to demonstrate the state-of-the-art performance on ShapeNet and PartNet, respectively, with significant improvement over the literature. Code is available at https://github.com/Zhang-VISLab.

研究の動機と目的

• 従来の2次元畳み込みニューラルネットワーク（2D CNN）を3次元点群のセマンティックセグメンテーションに適用できるように、3次元点群を2次元画像空間に効果的かつ効率的に投影する課題に対処すること。
• 投影過程で3次元点群のトポロジー構造を保全し、局所的な幾何的パターンの損失を回避すること。
• 計算コストの高いグラフ描画プロセスを、階層的近似アルゴリズムを導入することで高速化すること。
• 適切に投影された3次元点群の2次元画像に標準的な2次元CNNを適用することで、専用の3次元深層学習モデルを上回る性能を達成できることを示すこと。
• 統一されたパイプラインを用いて、ShapeNetやPartNetなどのベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 局所的な幾何的関係を符号化するため、3次元点群からDelaunay三角形分割を用いてグラフを構築する。
• グラフ描画を整数計画問題に再定式化し、3次元グラフから2次元グリッドへのトポロジーを保全するマッピングを学習する。
• 計算時間の約97％の削減を実現するため、複雑度O(n^(L+1)/L)の新規な階層的近似アルゴリズムを提案する。
• 学習済みマッピングを用いて3次元点群を2次元グリッドに投影し、空のセルには0を設定して(x,y,z)-画像を生成する。
• 2次元CNNの局所受容 field を活用するため、(x,y,z)-画像にマルチスケールU-Netを適用してセマンティックセグメンテーションを実行する。
• エネルギーに基づくグラフレイアウト最適化の基盤としてKamada-Kawaiアルゴリズムを用い、整数計画法により離散的な2次元グリッドに適応化する。

実験結果

リサーチクエスチョン

• RQ1 適切な2次元画像表現が与えられた場合、従来の2次元畳み込みニューラルネットワーク（2D CNN）は3次元点群セグメンテーションで最先端の性能を達成できるか？
• RQ2 2次元画像空間への投影過程で、3次元点群の構造をどのように保全し、局所的な幾何的パターンを維持できるか？
• RQ3 大規模な3次元点群に対して、トポロジーを保全するグラフからグリッドへのマッピングを効率的かつスケーラブルに計算する方法は何か？
• RQ4 階層的近似は、セグメンテーション精度を損なわずに、グラフ描画の計算コストを顕著に削減できるか？
• RQ5 本手法は、標準的なベンチマークで、既存の3次元特化型の深層学習モデルと比較してどのように性能を発揮するか？

主な発見

• 提案手法は、ShapeNetで最先端の性能を達成し、すべての先行手法を上回る平均交差率（mIoU）63.0％を達成した。
• PartNetでは、3つの異なるセグメンテーションレベルで、それぞれ6.8％、9.1％、5.9％の向上を達成し、平均で3.2％の向上を示した。
• ShapeNetでは、クラスmIoUが88.6％、インスタンスmIoUが65.2％を達成し、以前の最先端手法を著しく上回った。
• 階層的近似により、正確な整数計画法ソリューションと比較して実行時間を約97％短縮した。
• PartNetの全50分類のうち31分類で、あらゆるレベルで最高の性能を達成し、強力なロバストネスと一般化性能を示した。
• マルチスケールU-Netアーキテクチャは、投影された(x,y,z)-画像における局所的コンテキストを効果的に捉えており、高いセグメンテーション精度に貢献している。