[論文レビュー] Inferring Point Clouds from Single Monocular Images by Depth Intermediation

Wei Zeng, Sezer Karaoğlu+1 more|arXiv (Cornell University)|Dec 4, 2018

Advanced Vision and Imaging参考文献 44被引用数 11

ひとこと要約

本論文は、深度マップをまず推定し、その後カメラの幾何学的制約を用いて完全な点群を補完することで、単一のRGB画像からの3次元点群再構成のための新規パイプラインを提案する。本手法はShapeNetおよびPix3Dで最先端の手法を上回り、深度ノイズに対して頑健であり、3D-2Dリファインメントモジュールにより予測された深度と生成された点群の整合性を強制することで、実世界の画像への強い汎化性能を示す。

ABSTRACT

In this paper, we propose a pipeline to generate 3D point cloud of an object from a single-view RGB image. Most previous work predict the 3D point coordinates from single RGB images directly. We decompose this problem into depth estimation from single images and point cloud completion from partial point clouds. Our method sequentially predicts the depth maps from images and then infers the complete 3D object point clouds based on the predicted partial point clouds. We explicitly impose the camera model geometrical constraint in our pipeline and enforce the alignment of the generated point clouds and estimated depth maps. Experimental results for the single image 3D object reconstruction task show that the proposed method outperforms existing state-of-the-art methods. Both the qualitative and quantitative results demonstrate the generality and suitability of our method.

研究の動機と目的

• 単眼RGB画像からの3次元単一ビュー再構成の課題に、幾何的正確性を向上させることを目的とする。
• 2次元から3次元へのドメイン変換において、カメラモデルの幾何学的特徴を明示的に制約として組み込むことで、トレーニングデータの品質依存性を低減することを目的とする。
• 部分点群を3次元グリッドベースで符号化し、折りたたみベースのデコーダーを用いてスパarsから密集への生成を実現することで、点群補完の性能を向上させることを目的とする。
• 自己教師付きの3D-2Dリファインメントモジュールを用いて、深度推定と点群生成を同時に最適化することを目的とする。
• 合成データ（ShapeNet）および実世界データ（Pix3D）の両ベンチマークで最先端の性能を達成し、実世界の写真（in-the-wild画像）への強い汎化性能を実現することを目的とする。

提案手法

• パイプラインはまず、深度中間処理モジュールを用いて単一のRGB画像から深度マップを予測する。
• 予測された深度マップは、カメラの幾何学的特徴を明示的に制約として用いて、部分的な3次元点群に変換される。
• 部分点群は、空間的コンテキストを保持し、3次元畳み込みニューラルネットワーク（3D CNN）処理を可能にする3次元グリッドベースのポイントセットで符号化される。
• 符号化された特徴量は3次元畳み込みニューラルネットワークで処理され、その後折りたたみベースのデコーダーが適用され、完全でスパースな3次元点群が生成される。
• 3D-2Dリファインメントモジュールは、2次元投影と3次元の監視を用いて、生成された完全な点群と予測された深度マップの整合性を強制し、深度推定モジュールと補完モジュールの共同最適化を可能にする。
• 本手法は、ShapeNet（合成データ）およびPix3D（実世界データ）のデータセット上でトレーニングおよび評価され、ノイズ耐性とカメラモデルへの感受性に関するアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 カメラの幾何学的特徴を明示的な制約として用いることで、単一のRGB画像からの3次元再構成品質が向上するか？
• RQ2 直接的な3次元形状予測と比較して、深度中間処理は再構成精度と耐性性においてどのように優れているか？
• RQ3 3D-2Dリファインメントモジュールは、深度推定誤差をどの程度低減し、点群の正確性を向上させるか？
• RQ4 合成データでトレーニングされたモデルは、多様なカメラパrameterを持つ実世界の、多様な環境の写真（in-the-wild画像）にどの程度汎化するか？
• RQ5 3次元グリッドサイズとノイズ耐性の影響は、点群補完モジュールの性能にどのように現れるか？

主な発見

• 本手法は、ShapeNetのチェアサブセットで、チェンファーディスタンス（CD）が0.253を達成し、ベースラインのPSGN（CD 0.645）および3D-2Dリファインメントを除外したアブレーションバージョン（CD 0.485）を著しく上回った。
• 同じベンチマークで、交差率（IoU）は0.702に向上した。これは、ベースラインのPSGN（0.544）および3D-2Dリファインメントモジュールを除いたバージョン（0.626）よりも優れている。
• 3D-2Dリファインメントモジュールは、深度ノイズに対して強い耐性を示し、PSNRが30dB未満に低下するまで性能差は顕著に拡大しなかった。これは、現実的な深度推定誤差に対しても耐性があることを示している。
• 本手法は実世界の画像への汎化性能が高く、未知のカメラパラメータと手作業で作成されたマスクを用いたin-the-wild画像でも、滑らかで詳細な点群を生成できた。
• 正確なカメラモデル仮定とは異なる場合でも、焦点距離が真値から20％以内のずれに耐えられ、妥当な再構成品質を維持した。
• アブレーションスタディの結果、3次元グリッドベースのサイズを16³から32³に増加させることで性能が向上し、精度と効率のバランスを考慮して32³が選択された。