[論文レビュー] Deep Reinforcement Learning of Volume-guided Progressive View Inpainting for 3D Point Scene Completion from a Single Depth Image

Xiaoguang Han, Zhaoxuan Zhang+8 more|arXiv (Cornell University)|Mar 10, 2019

Advanced Vision and Imaging参考文献 55被引用数 9

ひとこと要約

本論文は、1枚の深度画像から3次元点群シーン再構築を実現するための深層強化学習フレームワークを提案する。ボリュームガイド付きの段階的マルチビュー補完を用い、DQNポリシーを用いて3次元ボリューム再構築、2次元深度マップ補完、およびビュー選択を同時に最適化することで、SUNCGデータセットにおいて精度と完全性の両面で最先端の性能を達成した。

ABSTRACT

We present a deep reinforcement learning method of progressive view inpainting for 3D point scene completion under volume guidance, achieving high-quality scene reconstruction from only a single depth image with severe occlusion. Our approach is end-to-end, consisting of three modules: 3D scene volume reconstruction, 2D depth map inpainting, and multi-view selection for completion. Given a single depth image, our method first goes through the 3D volume branch to obtain a volumetric scene reconstruction as a guide to the next view inpainting step, which attempts to make up the missing information; the third step involves projecting the volume under the same view of the input, concatenating them to complete the current view depth, and integrating all depth into the point cloud. Since the occluded areas are unavailable, we resort to a deep Q-Network to glance around and pick the next best view for large hole completion progressively until a scene is adequately reconstructed while guaranteeing validity. All steps are learned jointly to achieve robust and consistent results. We perform qualitative and quantitative evaluations with extensive experiments on the SUNCG data, obtaining better results than the state of the art.

研究の動機と目的

• 重度の隠蔽がある単一の深度画像から高品質な3次元点群を再構築する課題に対処すること。
• 既存の分類・探索型手法および2次元／3次元ネットワーク統合手法が、不完全な入力や一般化性能に制限を受ける問題を克服すること。
• 誤差蓄積を最小限に抑えるために動的に最適な視点を選択するプログレッシブでビューに注意を向ける再構築戦略を開発すること。
• 3次元ボリュームの文脈を2次元補完に統合し、より良いグローバルな一貫性と再構築品質を実現すること。
• エンドツーエンドの深層強化学習により、3次元再構築、2次元補完、およびビュー経路計画を統合的に最適化すること。

提案手法

• 本手法は、入力深度マップからボリュームガイドを生成する3次元ボリューム再構築ブランチを用いる。
• マルチビュー畳み込みニューラルネットワーク（MVCNN）がDQNポリシーを近似し、現在の点群状態に基づいて次に最適な視点を選択する。
• ボリュームガイド付き2次元補完ネットワークは、低解像度の3次元ボリューム特徴量と2次元深度マップ入力を統合し、グローバルな文脈理解を向上させる。
• 2次元補完ネットワークは3次元ブランチに逆伝播される損失関数を用いて訓練され、両ブランチの統合最適化を可能にする。
• 回復された2次元深度ピクセルは、複数の反復処理において3次元点群に再投影され、統合される。
• DQNエージェントは、正確性（真値との距離）と穴埋め効率（欠損領域の削減）を組み合わせた密度の高い報酬関数を用いて訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習ポリシーは、段階的3次元シーン再構築のための最適な視点シーケンスを効果的に選択できるか？
• RQ2 3次元ボリューム特徴量を組み込むことで、隠蔽領域における2次元深度マップ補完の品質はどのように向上するか？
• RQ3 3次元および2次元ネットワークの統合最適化は、分離型アプローチに比べて再構築の正確性と完全性を向上させるか？
• RQ4 視点シーケンスの選択は、誤差蓄積および最終的な再構築品質にどのように影響するか？
• RQ5 ボリュームガイド付きマルチビュー補完戦略は、単一ビューまたは一様にサンプリングされたビュー手法を上回る性能を示せるか？

主な発見

• 提案手法はSUNCGデータセットにおいて最高の性能を達成し、閾値0.10における完全性指標が0.942に達し、先行する最先端手法を顕著に上回った。
• ボリュームガイド付き2次元補完ネットワークは、PSNRが24.73、SSIMが0.930を達成し、ボリュームガイドや逆伝播を含まないアブレーションバージョンに比べて優れた画像品質を示した。
• DQNベースのビュー経路計画により、一様サンプリングに比べ誤差蓄積が低減され、U_10（10視点）は学習済ポリシーに比べ劣った結果を示した。
• アブレーションスタディにより、ボリュームガイドとエンドツーエンドの逆伝播が両方とも不可欠であることが確認された。ボリュームガイドを除去すると、PSNRは1.58低下、SSIMは0.02低下した。
• 可視化比較では、本手法はSSCNetや他のベースラインに比べ、特に複雑な隠蔽領域においてより多くの表面詳細と欠損点を回復していた。
• 本手法はチェンファーディスタンス（CD）を0.0048まで達成し、比較対象の全手法の中で最低であり、優れた幾何学的正確性を示した。