[論文レビュー] MRGAN: Multi-Rooted 3D Shape Generation with Unsupervised Part Disentanglement

Rinon Gal, Amit H. Bermano+2 more|arXiv (Cornell University)|Jul 25, 2020

3D Shape Modeling and Analysis参考文献 3被引用数 5

ひとこと要約

MRGANは、自己教師あり学習を用いて複数のルートを持つ部分に分離可能な3次元形状生成フレームワークを提案する。これにより、一貫性があり局所的な形状編集が可能となる。マルチルートグラフ畳み込みネットワークに加え、ルートドロップと凸性正則化を用いることで、局所的変更が可能であり、意味的に明確な部分の分離が達成される。定性的および定量的なアブレーションスタディにより検証された。

ABSTRACT

We present MRGAN, a multi-rooted adversarial network which generates part-disentangled 3D point-cloud shapes without part-based shape supervision. The network fuses multiple branches of tree-structured graph convolution layers which produce point clouds, with learnable constant inputs at the tree roots. Each branch learns to grow a different shape part, offering control over the shape generation at the part level. Our network encourages disentangled generation of semantic parts via two key ingredients: a root-mixing training strategy which helps decorrelate the different branches to facilitate disentanglement, and a set of loss terms designed with part disentanglement and shape semantics in mind. Of these, a novel convexity loss incentivizes the generation of parts that are more convex, as semantic parts tend to be. In addition, a root-dropping loss further ensures that each root seeds a single part, preventing the degeneration or over-growth of the point-producing branches. We evaluate the performance of our network on a number of 3D shape classes, and offer qualitative and quantitative comparisons to previous works and baseline approaches. We demonstrate the controllability offered by our part-disentangled generation through two applications for shape modeling: part mixing and individual part variation, without receiving segmented shapes as input.

研究の動機と目的

• 部分ラベルなしで3次元形状の意味的に明確な部分に分離可能な自己教師ありの手法を実現すること。
• 複数のルートをモデル化することで、形状の異なる部分を表す複数のルートを用いて一貫性のある3次元形状を生成すること。
• 1つのルートを変更しても、その対応する部分にのみ影響を与え、全体の形状の整合性を保つように局所的変更を可能にすること。
• ルートドロップと凸性正則化という新しい損失関数を用いて、部分の分離を向上させること。
• ShapeNetベンチマーク上で定性的および定量的な評価を通じて、本手法の有効性を示すこと。

提案手法

• 生成器は、各ルートが形状の一部を表すマルチルートツリーGCNアーキテクチャを採用しており、学習可能なルート定数と共有された特徴処理を備える。
• 特徴共有層は、マックスプーリング、密度付きプロジェクション、1次元畳み込みを用いてグローバル特徴を集約し、局所構造を保持しながら部分間の通信を可能にする。
• ルートドロップ損失を用いて、各ルートが一意な役割を果たすよう促進し、重複する部分の削減を図る。
• 各ルートが形状の凸的で意味のある部分に対応するよう、凸性損失を適用する。
• 補助的なハル距離ネットワークは、各点の凸包までの距離を予測し、生成器の正則化と部分の分離を向上させるために用いられる。
• 識別器は1次元畳み込みニューラルネットワーク（1D CNN）に基づくアーキテクチャであり、潜在コードに同一性正則化を強制する再構成ヘッドを備える。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの3次元形状生成が、部分レベルのラベルなしで意味的に明確な部分の分離を達成できるか？
• RQ2 マルチルートGANは、部分の混合や局所的変更において形状の一貫性をどの程度保てるか？
• RQ3 ルートドロップ損失と凸性損失は、部分の分離をどの程度向上させ、冗長性を低減するか？
• RQ4 ハル距離予測ネットワークは、生成された部分の品質と分離度にどのように寄与するか？
• RQ5 本モデルは、部分ごとの局所的編集性を維持しながら、多様で一貫性のある形状を生成できるか？

主な発見

• 可視化により、1つのルートを変更してもその対応する部分にのみ影響が及び、全体の形状に最小限のずれが生じることを示した。
• 部分の混合結果は一貫性のある補間を示しており、例えば丸い背もたれは形状のアイデンティティを保ちつつ、サイズや傾きが新しい形状に適合するように調整された。
• ルートドロップ損失は冗長な部分の削減に効果的であり、この損失を除いた場合、重複や重複するルートが生じることが可視化で確認された。
• 凸性損失は部分の分離を顕著に向上させ、損失を除去した場合、意味のない重複する部分が生成された。
• ShapeNetベンチマークにおいて、MRGANは最先端の品質指標に匹敵しないものの、カバレッジ（COV-CD：チェアで67、航空機で75、テーブルで78）は競争力があり、優れた性能を示した。
• ハル距離ネットワークは合成および実際の点群データ上で正常に訓練可能であり、L2損失を用いてハルまでの距離を予測し、部分の正則化に寄与した。