[論文レビュー] Cycle4Completion: Unpaired Point Cloud Completion using Cycle Transformation with Missing Region Coding

Xin Wen, Zhizhong Han+4 more|arXiv (Cornell University)|Mar 14, 2021

3D Shape Modeling and Analysis参考文献 52被引用数 8

ひとこと要約

Cycle4Completionは、不完全な形状と完全な形状の潜在空間の間で双方向のサイクル変換を活用することで、幾何的理解と補完精度を向上させる、新しい非ペaired点群補完手法を提案する。サイクル学習におけるターゲットの混乱を解消するために、学習可能な欠損領域符号化を導入することで、先行する非ペアド手法と比較して、ShapeNet上でのチェンファーディスタンス（CD）を平均14.6×10⁴低下させ、最先端の性能を達成した。

ABSTRACT

In this paper, we present a novel unpaired point cloud completion network, named Cycle4Completion, to infer the complete geometries from a partial 3D object. Previous unpaired completion methods merely focus on the learning of geometric correspondence from incomplete shapes to complete shapes, and ignore the learning in the reverse direction, which makes them suffer from low completion accuracy due to the limited 3D shape understanding ability. To address this problem, we propose two simultaneous cycle transformations between the latent spaces of complete shapes and incomplete ones. The insight of cycle transformation is to promote networks to understand 3D shapes by learning to generate complete or incomplete shapes from their complementary ones. Specifically, the first cycle transforms shapes from incomplete domain to complete domain, and then projects them back to the incomplete domain. This process learns the geometric characteristic of complete shapes, and maintains the shape consistency between the complete prediction and the incomplete input. Similarly, the inverse cycle transformation starts from complete domain to incomplete domain, and goes back to complete domain to learn the characteristic of incomplete shapes. We provide a comprehensive evaluation in experiments, which shows that our model with the learned bidirectional geometry correspondence outperforms state-of-the-art unpaired completion methods.

研究の動機と目的

• 不完全な形状から完全な形状への一方通行の対応関係しか学習しない非ペアド点群補完手法の限界を解消すること。
• 不完全な形状と完全な形状の間で双方向の幾何的対応関係を学習することで、補完精度を向上させること。
• 1つの完全な形状が複数の異なる不完全な形状にマッピングされる、サイクル学習におけるターゲットの混乱問題を解消すること。
• 両方向に形状の一貫性を保つサイクル変換を通じて、3次元形状の理解を強化すること。

提案手法

• 本手法は2つのサイクル変換を採用する：1つは不完全な形状から完全な形状へ、再び不完全な形状へと戻る変換であり、もう1つは完全な形状から不完全な形状へ、再び完全な形状へと戻る変換である。これにより双方向学習が可能になる。
• 学習可能な欠損領域符号化（MRC）モジュールは、不完全な形状を完全な形状の表現と欠損領域の符号化に分解し、ターゲットの混乱を低減する。
• サイクル変換フレームワークは、部分一致損失とサイクル一致損失を用いて、変換間での形状の一貫性を強制する。
• 生成器損失、サイクル一致損失、部分一致損失を、モード崩壊を防ぐために選択的なパラメータ更新とともに共同最適化する。
• 共有特徴を用いたクロスドメインアライメントを実現するため、自己符号化器ベースのアーキテクチャを用いて両ドメインの形状を符号化・復元する。
• 共有パラメータを用いてサイクル一致損失を更新することで、ドメイン間自己符号化による不安定性を回避し、学習を安定化させる。

実験結果

リサーチクエスチョン

• RQ1 不完全な形状と完全な形状の潜在空間の間で双方向のサイクル学習を実施することで、非ペアド設定下での点群補完性能が向上するか？
• RQ2 1つの完全な形状が複数の異なる不完全な形状にマッピングされるという、サイクル学習におけるターゲットの混乱問題は、どのように解消できるか？
• RQ3 欠損領域符号化を組み込むことで、サイクルベースの補完ネットワークの安定性と精度にどのような影響を与えるか？
• RQ4 異なる損失重み戦略が、形状の一貫性と補完品質のバランスにどのように影響するか？
• RQ5 提案手法は、スパarsityや部分性の程度が異なる多様なオブジェクトカテゴリに一般化可能か？

主な発見

• 完全なCycle4Completionモデルは、ShapeNetの全カテゴリ平均でチェンファーディスタンス（CD）が9.1×10⁴を達成し、先行する非ペアド手法を上回った。
• 部分一致損失を削除（λₚ = 0）すると、CDは18.8×10⁴に上昇し、形状の忠実性を維持する上でこの損失が極めて重要な役割を果たしていることが示された。
• サイクル一致損失（λc）は一貫性を保つために不可欠である：λc = 1.0かつλp = 0のとき、CDは8.9×10⁴に低下し、サイクル学習そのもので強力な結果を得られることを示した。
• 入力解像度にかかわらず安定した性能を維持し、256点入力時（CD 14.4×10⁴）から2048点入力時（CD 9.1×10⁴）に改善された。これは、スパースな入力に対しても良好な一般化性能を示している。
• サイクル一致損失と部分一致損失を共同最適化することで、モード崩壊を防止できたが、自己符号化器と変換ネットワークを同時に更新すると崩壊が発生した。
• アブレーションスタディにより、欠損領域符号化モジュールがターゲットの混乱を低減し、特にチェアーやキャビネットのような複雑な形状の補完品質を向上させていることが確認された。