[論文レビュー] 3D Shape Segmentation via Shape Fully Convolutional Networks

Pengyu Wang, Yuan Gan+5 more|arXiv (Cornell University)|Feb 28, 2017

Industrial Vision Systems and Defect Detection被引用数 5

ひとこと要約

本稿では、三角形メッシュをグラフとしてモデル化することで、直接的にそれらを処理する新しい完全畳み込み型アーキテクチャであるShape Fully Convolutional Networks (SFCN) を提案する。形状固有の畳み込みおよびプーリング演算を導入し、3つの低レベルの幾何的特徴量を用いてエンドツーエンドの三角形から三角形への学習を可能にし、SFCN予測後に特徴投票に基づくマルチラベルグラフカット最適化を適用することで、混合カテゴリーデータセットにおいて最先端の性能を達成する。

ABSTRACT

We desgin a novel fully convolutional network architecture for shapes, denoted by Shape Fully Convolutional Networks (SFCN). 3D shapes are represented as graph structures in the SFCN architecture, based on novel graph convolution and pooling operations, which are similar to convolution and pooling operations used on images. Meanwhile, to build our SFCN architecture in the original image segmentation fully convolutional network (FCN) architecture, we also design and implement a generating operation} with bridging function. This ensures that the convolution and pooling operation we have designed can be successfully applied in the original FCN architecture. In this paper, we also present a new shape segmentation approach based on SFCN. Furthermore, we allow more general and challenging input, such as mixed datasets of different categories of shapes} which can prove the ability of our generalisation. In our approach, SFCNs are trained triangles-to-triangles by using three low-level geometric features as input. Finally, the feature voting-based multi-label graph cuts is adopted to optimise the segmentation results obtained by SFCN prediction. The experiment results show that our method can effectively learn and predict mixed shape datasets of either similar or different characteristics, and achieve excellent segmentation results.

研究の動機と目的

• 2次元画像のような規則的なグリッド構造を持たない不規則な3次元メッシュデータに完全畳み込みネットワークを適用する課題に対処すること。
• 画像ベースのFCNと類似する効果的な特徴学習を可能にする、3次元形状に適したグラフベースの畳み込みおよびプーリング機構を設計すること。
• 固定メッシュ解像度や形状固有のアーキテクチャを必要とせずに、エンドツーエンドの三角形から三角形へのセグメンテーションを可能にすること。
• 特徴の相補性とマルチラベルグラフカットによる後処理を組み合わせることで、セグメンテーションの正確性を向上させること。
• 異なるカテゴリーや特徴を持つ形状が混在する状況においても、優れた一般化性能を示すことを実証すること。

提案手法

• ノードを三角形、エッジを隣接関係として定義するグラフ構造として3次元形状を表現し、グラフベースの演算を可能にする。
• 画像ベースの演算を不規則なメッシュトポロジーに一般化する、新しい形状畳み込みおよびプーリング層を設計する。
• 形状畳み込みを元のFCNアーキテクチャに統合するためのブリッジとしての生成演算を導入し、エンドツーエンド学習を可能にする。
• より良い特徴表現を得るため、3つの低レベルの幾何的特徴量（例：曲率、法線など）を入力としてSFCNを学習する。
• SFCNの予測を精緻化するために、投票ベースのマルチラベルグラフカット最適化を適用し、境界の滑らかさとラベルの一貫性を向上させる。
• セグメンテーション中に細粒度のディテールを保持するために、SFCNアーキテクチャにスキップ接続を用いる。

実験結果

リサーチクエスチョン

• RQ1 不規則な構造を持つ3次元メッシュデータに、2次元画像と同様に効果的に完全畳み込みネットワークを適応させることは可能か？
• RQ2 3次元形状の幾何的およびトポロジカル情報を保持しつつ、グラフ畳み込みおよびプーリング演算をどのように設計できるか？
• RQ3 1つのSFCNモデルが、混合データセット環境下で多様な形状カテゴリに一般化できるか？
• RQ4 マルチ特徴融合と後処理最適化が、セグメンテーションの正確性および境界品質をどの程度向上させるか？
• RQ5 提案手法は、小規模および大規模な3次元形状データセットの両方で、既存の最先端手法を上回る性能を示すか？

主な発見

• 提案されたSFCNは、ベンチマークデータセットおよび混合カテゴリーデータセットの両方で、既存手法を上回る最先端の性能を達成する。
• COSEGから得た混合データセットを用いた学習とテストにおいても、モデルは異なる形状カテゴリにわたり良好に一般化され、精度の低下が最小限に抑えられる。
• マルチラベルグラフカット最適化を適用することで、セグメンテーションの正確性が顕著に向上し、定量的評価ではF1スコアの向上と滑らかな境界が確認される。
• 深さが増すとネットワークの収束が早まり、ネットワークの深さが増すに従い、セグメンテーション品質も向上する（評価では最大5層まで）。
• 固定メッシュ解像度や手動によるメッシュ前処理を必要とせず、エンドツーエンドの三角形から三角形への学習が可能である。
• マルチ特徴入力とグラフカット最適化の組み合わせにより、特に複雑な幾何形状を示す領域において、より一貫性があり正確なセグメンテーションが達成される。