[論文レビュー] Cross-modal Learning for Image-Guided Point Cloud Shape Completion

Emanuele Aiello, Diego Valsesia+1 more|arXiv (Cornell University)|Sep 20, 2022

3D Surveying and Cultural HeritageEarth and Planetary Sciences被引用数 19

ひとこと要約

本論文では、画像と点群データを共有潜在空間内でのクロスアテンションを介して統合する、XMFnetと呼ばれるクロスモーダル学習フレームワークを提案する。画像ガイドド3D形状補完の文脈で、単一視点再構築を避けることで最先端の性能を達成し、微分可能レンダラを用いた弱教師付き学習スキームを導入することで、複数の教師ありベースラインを上回り、単一モダリティの最先端モデルと同等の性能を発揮する。

ABSTRACT

In this paper we explore the recent topic of point cloud completion, guided by an auxiliary image. We show how it is possible to effectively combine the information from the two modalities in a localized latent space, thus avoiding the need for complex point cloud reconstruction methods from single views used by the state-of-the-art. We also investigate a novel weakly-supervised setting where the auxiliary image provides a supervisory signal to the training process by using a differentiable renderer on the completed point cloud to measure fidelity in the image space. Experiments show significant improvements over state-of-the-art supervised methods for both unimodal and multimodal completion. We also show the effectiveness of the weakly-supervised approach which outperforms a number of supervised methods and is competitive with the latest supervised models only exploiting point cloud information.

研究の動機と目的

• 部分観測からの不完全な3D点群再構築の課題に取り組むこと。
• 単一視点再構築パイプラインに依存せずに、画像と点群モダリティの有効な統合を可能にすること。
• 画像が微分可能レンダラを介して教師信号を提供する弱教師付き学習の探求。
• 異なる視点からの補完的情報を活用することで、再構築品質の向上。
• 教師あり単一モダリティおよびマルチモダリティの最先端手法と同等またはそれ以上の性能を達成すること。

提案手法

• XMFnetは、共有潜在空間内での画像および点群モダリティからの細粒度で局所的な表現をクロスアテンション機構を用いて統合する。
• モデルは、サイズの異なる領域の再構築を柔軟に処理できるように、柔軟なデコーダーを用いる。
• 画像空間の忠実度損失を計算するために微分可能レンダラが使用され、弱教師付き学習を可能にする。
• 弱教師付き損失は、微分可能チャーム距離（DCD）とレンダリングに基づく一貫性損失を組み合わせており、形状品質と収束性の両方を向上させる。
• 公平な比較のため、単一モダリティバージョンではクロスアテンションを自己アテンションに置き換える。
• 形状の完全性および一般化性能の向上を目的として、Mixupデータ拡張が適用される。

実験結果

リサーチクエスチョン

• RQ1 潜在空間内でのクロスアテンションベースの統合が、単一視点再構築ベースの統合を上回る性能を発揮できるか？
• RQ2 微分可能レンダラを用いた弱教師付き学習スキームが、教師あり手法と同等の性能を達成できるか？
• RQ3 補助画像の視点が再構築品質に与える影響は何か？また、補完的視点が結果を改善できるか？
• RQ4 微分可能レンダリング損失とDCD成分が収束性および形状品質に与える影響は何か？
• RQ5 提案手法は、ノイズや隠蔽を伴う実世界のシナリオにも一般化可能か？

主な発見

• 提案されたXMFnetモデルは、ShapeNetViPC-Datasetにおいて、教師ありおよび弱教師ありの両設定で最先端の性能を達成した。
• 弱教師あり手法は、複数の教師ありベースラインを上回り、最新の単一モダリティ教師ありモデルと同等の性能を示した。
• 微分可能レンダリング損失の追加により、トレーニングの収束がより速く滑らかになり、定性的および定量的両面で結果が向上した。
• DCD成分は、DCDありとなしの定性的比較からも明らかになったように、形状の均一性と全体的な品質を著しく向上させた。
• レンダリング損失を含むモデルではCDが3.743に低下した一方、それなしでは7.812にとどまり、定量的な改善が顕著に示された。
• 一部の画像視点は他の視点よりも著しく優れた教師信号を提供しており、少数の「悪い」視点では単一モダリティの性能と同等の結果が得られた。