[論文レビュー] CoSegNet: Deep Co-Segmentation of 3D Shapes with Group Consistency Loss.

Chenyang Zhu, Kai Xu+4 more|arXiv (Cornell University)|Mar 25, 2019

3D Shape Modeling and Analysis参考文献 35被引用数 9

ひとこと要約

CoSegNet は、最大 K 個のユーザー定義部品に一貫性を持って 3D ポイントクラウド形状を共同セグメンテーションする弱教師付きディープラーニングフレームワークである。行列のランク推定に基づく新しいグループ一貫性損失と、アシスタントノイズ除去ネットワークを用い、一貫性のある教師付きアノテーションを必要とせずに形状集合全体における一貫性のあるラベル付けを達成する。

ABSTRACT

We introduce CoSegNet, a deep neural network architecture for co-segmentation of a set of 3D shapes represented as point clouds. CoSegNet takes as input a set of unsegmented shapes, proposes per-shape parts, and then jointly optimizes the part labelings across the set subjected to a novel group consistency loss expressed via matrix rank estimates. The proposals are refined in each iteration by an auxiliary network that acts as a weak regularizing prior, pre-trained to denoise noisy, unlabeled parts from a large collection of segmented 3D shapes, where the part compositions within the same object category can be highly inconsistent. The output is a consistent part labeling for the input set, with each shape segmented into up to K (a user-specified hyperparameter) parts. The overall pipeline is thus weakly supervised, producing consistent segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from CoSegNet and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.

研究の動機と目的

• 一貫性のないもしくは存在しないアノテーション付きの正解セグメンテーションを前提とした場合に、3D 形状を一貫性のある部品に共同セグメンテーションする課題に対処すること。
• 新しいグループ一貫性損失を用いて、複数の形状集合全体で部品ラベル付けを同時に最適化するディープラーニングフレームワークの開発。
• アノテート済みの対応するラベルがなくても、最大 K 個の部品に未セグメンテーションの 3D 形状を一貫してセグメンテーションすること。
• 事前学習済みのアシスタントネットワークを弱い正則化事前知識として活用し、多様な 3D 形状コレクションから得られるノイズの多い未ラベル部品提案を改善すること。

提案手法

• CoSegNet は未セグメンテーションの 3D ポイントクラウドの集合を入力とし、各形状に対して初期の部品提案を生成する。
• 行列のランク推定に基づく新しいグループ一貫性損失を適用し、形状集合全体にわたる一貫性のある部品ラベル付けを強制する。
• 大規模なセグメンテーション済み 3D 形状のコレクションで事前学習されたアシスタントノイズ除去ネットワークが、弱い正則化事前知識として機能し、初期の部品提案を精錬する。
• エンドツーエンドのバックプロパゲーションを用いて、すべての形状全体で部品ラベル付けを同時に最適化し、グループ一貫性損失が部品の構造的整合性を促進する。
• このフレームワークは弱教師付きであり、入力集合の構造と事前学習済みノイズ除去器からの事前知識に依存するが、対応するアノテーションには依存しない。
• 形状ごとの部品数は、各形状の最大セグメント数を定義するユーザー指定のハイパーパrameter K によって制御される。

実験結果

リサーチクエスチョン

• RQ1 アノテーションの整合性が保たれない状況でも、ディープラーニングモデルが未対応の複数の 3D 形状に対して一貫性のある共同セグメンテーションを達成できるか？
• RQ2 行列のランクに基づくグループ一貫性損失は、複数の 3D 形状にまたがる部品の構造的整合性をどれほど効果的に強制できるか？
• RQ3 事前学習済みのノイズ除去ネットワークが、共同セグメンテーションにおける部品提案の品質向上にどれほど弱い正則化事前知識として機能できるか？
• RQ4 最先端の共同セグメンテーション手法と比較して、CoSegNet は一貫性とセグメンテーション精度の両面でどの程度優れているか？
• RQ5 同じカテゴリ内でも部品構成が著しく不一致な多様な 3D 形状に対して、このフレームワークは一般化性能に優れているか？

主な発見

• CoSegNet は、定性的および定量的評価の両面で、3D 形状共同セグメンテーション分野で最先端の性能を達成した。
• 提案された行列ランク推定に基づくグループ一貫性損失は、形状集合全体における部品ラベル付けの一貫性を顕著に向上させた。
• アシスタントノイズ除去ネットワークは、初期の部品提案のノイズを効果的に低減し、より正確で整合性のあるセグメンテーションを実現した。
• アブレーションスタディの結果、グループ一貫性損失とアシスタントネットワークの両方が最終的な性能向上に有意に寄与していることが確認された。
• 同じカテゴリ内でも部品構成が著しく不一致な形状に対しても、このフレームワークはラベルのばらつきに強く、一般化性能に優れていることが示された。