[論文レビュー] RealPoint3D: Point Cloud Generation from a Single Image with Complex Background

Yan Xia, Yang Zhang+4 more|arXiv (Cornell University)|Sep 8, 2018

3D Shape Modeling and Analysis参考文献 19被引用数 4

ひとこと要約

RealPoint3D は、事前に構築された 3D モデルデータベースから取得した形状を統合することで、複雑な背景と任意の視点を持つ単一の実画像から 3D ポイントクラウドを生成するための新規フレームワークを提案する。入力画像と事前に構築されたデータベース内の最近傍 3D 形状を組み合わせることで、細分化された 3D 再構築において最先端の性能を達成し、合成データおよび実世界データの両方で、従来のボリュメトリックおよびポイントベースの手法を上回る。

ABSTRACT

3D point cloud generation by the deep neural network from a single image has been attracting more and more researchers' attention. However, recently-proposed methods require the objects be captured with relatively clean backgrounds, fixed viewpoint, while this highly limits its application in the real environment. To overcome these drawbacks, we proposed to integrate the prior 3D shape knowledge into the network to guide the 3D generation. By taking additional 3D information, the proposed network can handle the 3D object generation from a single real image captured from any viewpoint and complex background. Specifically, giving a query image, we retrieve the nearest shape model from a pre-prepared 3D model database. Then, the image together with the retrieved shape model is fed into the proposed network to generate the fine-grained 3D point cloud. The effectiveness of our proposed framework has been verified on different kinds of datasets. Experimental results show that the proposed framework achieves state-of-the-art accuracy compared to other volumetric-based and point set generation methods. Furthermore, the proposed framework works well for real images in complex backgrounds with various view angles.

研究の動機と目的

• 実世界の画像において複雑な背景と変動する視点を有する場合に、従来の 3D 生成手法が失敗するという制限を解決すること。
• 事前に用意された 3D モデルデータベースからの事前 3D 形状知識を統合することで、3D 再構築の忠実度を向上させること。
• オブジェクトマスクやクリーンな背景を必要とせずに、単一の画像からエンドツーエンドで 3D ポイントクラウドを生成すること。
• ObjectNet3D などの実世界データセットにおいて、3D 再構築の最先端の性能を達成すること。

提案手法

• フレームワークは、入力画像から抽出された画像特徴を用いて、事前に構築された 3D モデルデータベースから最近傍の 3D 形状を検索する。
• 画像特徴は、複数の視点で撮影された 3D モデルの 2D レンダリング画像に格納された特徴と比較され、最も類似した形状が特定される。
• 検索された 3D 形状と入力画像が、深層ニューラルネットワークに同時に入力され、完全で詳細な 3D ポイントクラウドが生成される。
• ネットワークアーキテクチャには、検索された形状を処理する 3D エンコーダーブランチと、入力画像を処理する 2D 画像エンコーダーが含まれ、特徴の統合による生成が行われる。
• 検索された形状をインダクティブバイアスとして活用することで、ネットワークはエンドツーエンドで詳細な 3D ジオメトリ、特に隠蔽部分を再構築するように学習される。
• スパarsで特徴的特徴を用いた検索に依存することで、フレームワークは視点の変化、遮蔽、複雑な背景に対して頑健であるように設計されている。

実験結果

リサーチクエスチョン

• RQ1 事前 3D 形状知識は、複雑な背景を持つ単一の実画像からの 3D ポイントクラウド生成を改善できるか？
• RQ2 データベースから検索された 3D 形状を統合することは、マスク非依存またはマスク依存の手法と比較して再構築品質にどのように影響するか？
• RQ3 検索ベースのアプローチは、実世界の画像において、従来のボリュメトリックおよびポイントベースの生成モデルをどの程度上回るか？
• RQ4 遮蔽や視点の変化がある状況下で、複雑な構造（例：ソファ、いす）のオブジェクトに対して、この手法はどの程度の性能を示すか？
• RQ5 このフレームワークは、オブジェクトセグメンテーションマスクを必要とせずに、実世界の画像に一般化可能か？

主な発見

• RealPoint3D は、合成データおよび実世界データの両方で最先端の性能を達成し、ソファカテゴリでは 0.63 の IoU スコアを記録し、PSGN や OGN を上回った。
• ObjectNet3D データセットにおいて、RealPoint3D は PSGN がオブジェクトマスクを有しても見逃していたベンチの脚などの細分化された詳細を正常に再構築した。
• 複雑な背景や視点の変化に対して頑健であることが実証され、特に困難なケースにおいてベースライン手法よりも顕著な性能向上を示した。
• アブレーションスタディの結果、3D エンコーダーブランチを有する完全モデル（RP3D-v2）が、それを欠落させたバージョン（RP3D-v1）を上回った。これは、事前形状知識の有効性を確認するものであった。
• CPU 上での推論時間は 1 イメージあたり約 0.1 秒であり、OGN よりも顕著に高速で、PSGN と同等の速度であった。
• 検索ステージは遮蔽や視点の変化に対して頑健であることが判明し、入力画像がノイズやごみで汚れていても、信頼性の高い形状マッチングが可能であった。