[論文レビュー] 3D Shape Segmentation with Projective Convolutional Networks

Evangelos Kalogerakis, Melinos Averkiou+2 more|arXiv (Cornell University)|Dec 8, 2016

Industrial Vision Systems and Defect Detection被引用数 10

ひとこと要約

本論文では、3次元形状部分セグメンテーションのための深層学習フレームワークであるShapePFCNを提案する。この手法は、多視点畳み込みニューラルネットワーク（FCNs）と表面ベースの条件付きランダムフィールド（CRFs）を組み合わせたもので、幾何的に整合性のある投影層を介して視点ベースの予測を3次元表面に投影し、CRFによる精緻化を行う。その結果、従来手法と比較してShapeNetベンチマークで平均ラベル付け精度を約8%向上させ、最先端の性能を達成した。

ABSTRACT

This paper introduces a deep architecture for segmenting 3D objects into their labeled semantic parts. Our architecture combines image-based Fully Convolutional Networks (FCNs) and surface-based Conditional Random Fields (CRFs) to yield coherent segmentations of 3D shapes. The image-based FCNs are used for efficient view-based reasoning about 3D object parts. Through a special projection layer, FCN outputs are effectively aggregated across multiple views and scales, then are projected onto the 3D object surfaces. Finally, a surface-based CRF combines the projected outputs with geometric consistency cues to yield coherent segmentations. The whole architecture (multi-view FCNs and CRF) is trained end-to-end. Our approach significantly outperforms the existing state-of-the-art methods in the currently largest segmentation benchmark (ShapeNet). Finally, we demonstrate promising segmentation results on noisy 3D shapes acquired from consumer-grade depth cameras.

研究の動機と目的

• 手動で調整された幾何的記述子やヒューリスティクスに依存せずに、意味的3次元形状部品セグメンテーションの課題に取り組む。
• ノイズ、穴、複雑なトポロジーを含む3次元形状に対しても、ロバストで一貫性のあるセグメンテーションを実現する。
• 視覚ベースの推論を向上させるために、事前学習済みの画像ネットワークを活用し、一般化性能と部品検出性能を向上させる。
• 多視点畳み込みニューラルネットワーク（CNNs）と表面CRFsを統合した一貫性のあるラベル付けを実現するエンドツーエンドの訓練可能なアーキテクチャを構築する。
• 消費者用深度センサーから得られるノイズの多い実世界スキャンに対しても、クリーンなCADモデルと同等の高い性能を示すことを実証する。

提案手法

• 3次元形状の表面カバレッジを最大化するように自動的に選択された視点から、複数の深度画像およびシェーディング画像をレンダリングする。
• 各視点を共有の事前学習済み畳み込みニューラルネットワーク（FCNs）で処理し、各部品の信頼度マップを生成する。
• 空間的一致性を保持する微分可能で幾何学的に注意を払った投影層を用いて、FCNの出力を3次元表面に投影する。
• スケールおよび視点ごとの予測を、学習可能な統合メカニズムを用いて統合する。
• 表面ベースの条件付きランダムフィールド（CRF）を適用し、メッシュ全体にわたる幾何的一致性と滑らかなラベル付けを強制する。
• アノテーション付き3次元形状データセットを用いた教師あり学習により、CRFを含む全アーキテクチャをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みの画像ベースの深層ネットワークは、多視点推論を介して、3次元形状部品セグメンテーションに効果的に再利用可能か？
• RQ2 多視点予測は、どのように幾何的に投影され統合され、一貫性のある3次元表面セグメンテーションが得られるか？
• RQ3 学習された表面CRFは、単に視点ベースの予測に比べて、セグメンテーションの一貫性とロバスト性を向上させられるか？
• RQ4 提案手法は、ShapeNetのような大規模3次元セグメンテーションベンチマークで、最先端の手法を上回る性能を示すか？
• RQ5 本手法は、消費者用深度センサーから得られるノイズの多い実世界スキャンに対しても、一般化性能を示すか？

主な発見

• ShapePFCNは、ShapeNetCoreベンチマークで平均ラベル付け精度92.2%を達成し、前回の最先端手法と比較して約8%の向上を示した。
• PSBおよびCOSEGデータセットでは、全カテゴリ平均で92.6%の精度を達成し、ShapeBoost（90.6%）およびGuoら（86.3%）を上回った。
• ノイズやメッシュの退化に強く、従来手法が失敗する実際のRGB-Dスキャンに対しても、高品質なセグメンテーションを生成した。
• 特に、COSEG_TeleAliensカテゴリでは95.7%、PSB_Chairカテゴリでは98.5%の精度を達成し、従来手法を大きく上回った。
• 表面CRF部は、特に隠蔽領域や曖昧な領域でラベル付けの一貫性を顕著に向上させたことが、定性的および定量的結果で裏付けられた。
• CRFを含む全アーキテクチャのエンドツーエンド訓練により、段階的パイプラインと比較して一般化性能が向上し、より一貫性のある予測が得られた。