[論文レビュー] CAPNet: Continuous Approximation Projection For 3D Point Cloud Reconstruction Using 2D Supervision

K L Navaneet, Priyanka Mandikal+2 more|arXiv (Cornell University)|Nov 28, 2018

Advanced Vision and Imaging参考文献 20被引用数 4

ひとこと要約

CAPNetは、前景マスクなどの2Dの監視信号から弱教師付き3Dポイントクラウド再構成を可能にする微分可能で連続的な近似投影モジュールを導入する。3Dポイントと2D投影の関係を滑らかで連続的な関数としてモデル化し、外れ値を抑えるためのアフィニティ損失を導入することで、合成データおよび実世界のデータセットにおいて最先端の性能を達成する。単一のマスクでの監視でも性能を発揮し、画像対応性を向上させるためにテスト時最適化を可能にする。

ABSTRACT

Knowledge of 3D properties of objects is a necessity in order to build effective computer vision systems. However, lack of large scale 3D datasets can be a major constraint for data-driven approaches in learning such properties. We consider the task of single image 3D point cloud reconstruction, and aim to utilize multiple foreground masks as our supervisory data to alleviate the need for large scale 3D datasets. A novel differentiable projection module, called 'CAPNet', is introduced to obtain such 2D masks from a predicted 3D point cloud. The key idea is to model the projections as a continuous approximation of the points in the point cloud. To overcome the challenges of sparse projection maps, we propose a loss formulation termed 'affinity loss' to generate outlier-free reconstructions. We significantly outperform the existing projection based approaches on a large-scale synthetic dataset. We show the utility and generalizability of such a 2D supervised approach through experiments on a real-world dataset, where lack of 3D data can be a serious concern. To further enhance the reconstructions, we also propose a test stage optimization procedure to obtain reconstructions that display high correspondence with the observed input image.

研究の動機と目的

• 大規模な3Dデータセットの不足を解消するため、前景マスクなどの2D監視信号のみを用いた3Dポイントクラウド再構成を可能にすること。
• 従来のポイントクラウド投影手法における微分不能性とスパarsity（スパarsity）の問題を克服すること。
• ポイントクラウドの投影の微分可能で連続的な近似を導入することで、再構成品質を向上させること。
• スパースな投影マップにおける外れ点を効果的に抑える新しい損失関数、アフィニティ損失の開発。
• 最小限の3D監視で実世界データセットに一般化できるかを実証し、観測されたマスクを用いたテスト時最適化を可能にすること。

提案手法

• 3Dポイントクラウド座標の関数として2D投影を微分可能で滑らかにモデル化する連続的近似投影モジュールを提案。ガウスカーネルを用い、可学習な分散を導入する。
• カーネル密度推定に基づく微分可能なレンダリングプロセスを用い、スパースな3Dポイントクラウドから滑らかでアーティファクトのない2D投影を生成する。
• 空間的一致性を促進するアフィニティ損失を導入。不連続または孤立した点のペナルティを課すことにより、外れ点の生成を低減する。
• 複数の視点からの2Dマスクを用いて3D再構成を監視するマルチビュー学習設定を採用する。
• テスト時最適化（TSO）手順を適用。入力画像の前景マスクを用いて予測されたポイントクラウドを微調整し、幾何学的・構造的対応性を向上させる。
• マスクの正確性と構造的忠実性の両立を図るため、バイナリクロスエントロピーとアフィニティ損失を組み合わせたハイブリッド損失を採用する。

実験結果

リサーチクエスチョン

• RQ1 前景マスクなどの2D監視信号のみを用いて、弱教師付き3Dポイントクラウド再構成を可能にする微分可能で連続的な投影モジュールを設計できるか？
• RQ2 多くの領域に投影点が存在しないスパースな投影マップにおいて、勾配の流れをどのように維持できるか？
• RQ3 単一の2Dマスクのみを用いて、完全な3D監視がなくても高品質な3D再構成を達成できるか、その限界はどこか？
• RQ4 観測されたマスクを用いたテスト時最適化が、再構成された3Dポイントクラウドと入力画像との対応性を顕著に向上させられるか？
• RQ5 標準的なクロスエントロピー損失と比較して、提案されたアフィニティ損失は外れ点の抑制と再構成品質の向上にどの程度効果的か？

主な発見

• CAPNetは大規模な合成データセットにおいて、既存の投影ベース手法を顕著に上回り、全カテゴリでチェンファーディスタンスが低く抑えられる。
• 単一の前景マスクでの監視でも、モデルは競争力ある性能を示す。実世界データセットでは、航空機で2.01、車で1.65のチェンファーディスタンスを達成する。
• テスト時最適化（TSO）手順により再構成品質が向上し、特に隠れ領域において、最適化されたポイントクラウドが入力画像とより良い幾何学的・構造的対応性を示す。
• アフィニティ損失は外れ点を効果的に低減する。定性的な結果と、バイナリクロスエントロピー損失のみで学習したモデルと比較して低いチェンファーディスタンスが示される。
• 本手法は実世界データに良好に一般化され、連続的投影と適切な損失設計を組み合わせることで、2D監視信号のみで高品質な3D再構成が可能であることを示す。
• 学習時の視点数が2つを超えると利得が減少し、2〜3視点で性能が安定化する。これは、非常に高いサンプル効率を示している。