[論文レビュー] AdaCoSeg: Adaptive Shape Co-Segmentation with Group Consistency Loss

Chenyang Zhu, Kai Xu+4 more|arXiv (Cornell University)|Mar 25, 2019

3D Shape Modeling and Analysis参考文献 39被引用数 9

ひとこと要約

AdaCoSeg は、点群のアダプティブな 3D 形状共同セグメンテーションのための弱教師付きディープラーニングフレームワークであり、2段階のアプローチを採用する。最初の段階では、初期の部分提案をノイズ除去するためのオフライン部品プライアーネットワークを用い、2番目の段階では、行列のランクに基づく新しいグループ一貫性損失を用いて、形状集合全体における部分ラベル付けを同時に最適化するオンライン共同セグメンテーションネットワークを実装する。本手法は、一貫した教師付きアノテーションを必要とせず、ユーザー指定の K 部分セグメンテーションを一貫して達成し、ベンチマークデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

We introduce AdaCoSeg, a deep neural network architecture for adaptive co-segmentation of a set of 3D shapes represented as point clouds. Differently from the familiar single-instance segmentation problem, co-segmentation is intrinsically contextual: how a shape is segmented can vary depending on the set it is in. Hence, our network features an adaptive learning module to produce a consistent shape segmentation which adapts to a set. Specifically, given an input set of unsegmented shapes, we first employ an offline pre-trained part prior network to propose per-shape parts. Then, the co-segmentation network iteratively and} jointly optimizes the part labelings across the set subjected to a novel group consistency loss defined by matrix ranks. While the part prior network can be trained with noisy and inconsistently segmented shapes, the final output of AdaCoSeg is a consistent part labeling for the input set, with each shape segmented into up to (a user-specified) K parts. Overall, our method is weakly supervised, producing segmentations tailored to the test set, without consistent ground-truth segmentations. We show qualitative and quantitative results from AdaCoSeg and evaluate it via ablation studies and comparisons to state-of-the-art co-segmentation methods.

研究の動機と目的

• 形状集合全体にわたる一貫した教師付きアノテーションが存在しない状況における、一貫した 3D 形状共同セグメンテーションの課題に対処すること。
• 入力セットに応じてその挙動を適応的に変化させる共同セグメンテーションネットワークを設計すること。
• 形状集合内の幾何的および構造的変動に対して、セグメンテーションの一貫性と耐性を向上させること。
• ノイズが多く一貫性のないセグメンテーションを活用して、部品プライアーネットワークを事前学習する弱教師付き学習を可能にすること。
• 実行時における共同セグメンテーションネットワークを構築し、微分可能な行列ランクに基づく損失を用いてグループ一貫性を最適化すること。

提案手法

• 2段階のパイプライン：まず、一貫性のないセグメンテーションからの弱教師信号を用いて、事前学習済みの部品プライアーネットワークが初期の部分提案をノイズ除去する。
• 次に、部品類似度行列のランクに基づく新しいグループ一貫性損失を用いて、入力セット内のすべての形状における部分ラベル付けを同時に最適化するアダプティブな共同セグメンテーションネットワークを実装する。
• グループ一貫性損失は、部品類似度行列のランクを最小化することで、形状間での構造的および幾何的整合性を促進し、異なる形状内の部品間の対応関係を強化する。
• 共同セグメンテーションネットワークは、グループ一貫性損失を用いてバックプロパゲーションにより学習され、教師付きアノテーションが不要な状態で部分割り当ての反復的改善が可能になる。
• 部品プライアーネットワークは、一回だけ大規模な一貫性のないセグメンテーションデータセット（例：ComplementMe）で学習され、異なる共同セグメンテーションタスクに再利用され、部分境界の正則化に寄与する。
• 本手法はユーザーが設定可能なパラメータを備えている：部分数 K はセグメンテーションの細分化を制御するハイパーパrameterであり、K にかかわらず一貫性が保証される。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、形状集合全体にわたる一貫した教師付きアノテーションが存在しない状況でも、一貫した 3D 形状共同セグメンテーションを達成できるか？
• RQ2 共同セグメンテーションネットワークは、入力セットに応じてその挙動を適応的に変化させることができ、入力全体に一般化するのではなく、特定の入力セットに特化した動作をとることができるか？
• RQ3 微分可能な行列ランクに基づくグループ一貫性損失は、形状集合内の部品間の意味的対応関係を効果的に強制できるか？
• RQ4 弱教師付き部品プライアーネットワークは、強教師付き学習が欠如する状況でも、共同セグメンテーションの品質をどの程度向上させるか？
• RQ5 大きな幾何的および構造的変動にさらされた状況でも、本手法は最先端の共同セグメンテーションアプローチと比較してどの程度の性能を示すか？

主な発見

• AdaCoSeg はベンチマークデータセットで最先端の性能を達成し、チェアでは Rand Index スコアが 0.055、ランプでは 0.059、花瓶では 0.189、ギターでは 0.032 を記録し、大多数のカテゴリで先行手法を上回る。
• 9つのチェアからなる小さなテストセットにおいて、AdaCoSeg は Rand Index 0.055 を達成し、1つの例示例（exemplar）を用いた BAE-NET よりも顕著に優れている（0.076）。
• 自らの学習データ上でも、AdaCoSeg は一貫性を向上させ、チェアでは Rand Index 0.09（正解ラベルの 0.21 に対して）を達成しており、耐性と一般化性能が裏付けられている。
• アブレーションスタディの結果、グループ一貫性損失が極めて重要であることが確認され、損失を適用した際には訓練時のランク損失が顕著に減少しており、効果的な最適化が行われていることが示された。
• 本手法は計算効率が高く、2,048 ポイントの 20 個の形状を共同セグメンテーションするのに約 7 分で処理可能であり、反復的最適化を経ても依然として高速である。
• フレームワークは適応的である：同じ形状が入力セットに応じて異なる部分数に分割可能であり、図 1 に示すように、文脈に応じた感受性を示している。