[論文レビュー] Secrets of 3D Implicit Object Shape Reconstruction in the Wild.

Shivam Duggal, Zihao Wang+5 more|arXiv (Cornell University)|Jan 18, 2021

Human Pose and Action Recognition被引用数 8

ひとこと要約

本稿では、スパースでノイジーな現実世界データからの3次元暗黙的オブジェクト形状再構成を改善する手法を提案する。潜在コードの初期化を向上させるためのディープエンコーダーと、形状の事前分布として機能するディープディスクライマーを導入している。本手法は、現実世界の自動運転データセットにおいて最先端の性能を達成し、従来のニューラル暗黙的モデルに比べて再構成の忠実度が顕著に向上している。

ABSTRACT

Reconstructing high-fidelity 3D objects from sparse, partial observation is of crucial importance for various applications in computer vision, robotics, and graphics. While recent neural implicit modeling methods show promising results on synthetic or dense datasets, they perform poorly on real-world data that is sparse and noisy. This paper analyzes the root cause of such deficient performance of a popular neural implicit model. We discover that the limitations are due to highly complicated objectives, lack of regularization, and poor initialization. To overcome these issues, we introduce two simple yet effective modifications: (i) a deep encoder that provides a better and more stable initialization for latent code optimization; and (ii) a deep discriminator that serves as a prior model to boost the fidelity of the shape. We evaluate our approach on two real-wold self-driving datasets and show superior performance over state-of-the-art 3D object reconstruction methods.

研究の動機と目的

• 合成データや高密度データとは対照的に、現実世界のスパースでノイジーな3次元データに対してニューラル暗黙的モデルが低性能を示す問題を解決すること。
• 従来の暗黙的モデルが失敗する根本的原因を同定すること、具体的には複雑な最適化目的関数、正則化の欠如、および不適切な初期化の問題。
• 補助的コンponentを導入することで構造的およびインダクティブバイアスを導入し、現実世界の環境下での形状再構成の忠実度と安定性を向上させること。
• データのスパarsityとノイズの影響が顕著な現実世界の自動運転データセットにおいて、従来の手法が困難とされる状況で優れた性能を示すこと。

提案手法

• 最適化プロセス中により安定的で意味のある潜在コード初期化を生成するため、ディープエンコーダーネットワークを導入する。
• 形状の事前分布として機能するディープディスクライマーを統合し、より現実的で高精細な再構成形状を指向させる。
• ディスクライマーを用いて敵対的な監視を提供し、暗黙的デコーダーが実際の形状分布と区別がつかないような形状を生成するよう促進する。
• エンコーダーとディスクライマーを統合した形で、形状再構成と忠実度の両方を同時に最適化するエンドツーエンドの学習を実施する。
• ディスクライマーの特徴表現を活用して最適化プロセスを正則化し、初期値の質に敏感な問題を軽減する。
• 自動運転車両のデータセットから得られるスパースかつ部分的な観測データを用いて、現実世界の3次元オブジェクト再構成タスクに本フレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 最先端のニューラル暗黙的モデルが、スパースでノイジーな観測を持つ現実世界の3次元再構成タスクで失敗する理由は何か？
• RQ2 潜在コードの初期化が不十分である場合、3次元形状再構成の品質と安定性にどの程度悪影響を及えるか？
• RQ3 ディープディスクライマーは、暗黙的3次元モデリングにおける再構成忠実度の向上に有効な形状の事前分布として機能できるか？
• RQ4 ディープエンコーダーとディスクライマーの組み合わせが、ベースラインの暗黙的モデルに比べて現実世界データセットでの性能をどの程度向上させるか？

主な発見

• 提案手法は、最先端の手法に比べて、現実世界の自動運転データセットにおける3次元再構成品質を顕著に向上させた。
• ディープエンコーダーは、潜在コード最適化の安定性と収束性を顕著に改善し、再構成における失敗事例を削減した。
• ディープディスクライマーは有効な形状の事前分布として機能し、スパースな入力でも現実的で詳細な3次元形状を再構成できた。
• ノイズとスパarsityに対して高い耐性を示し、困難な現実世界の条件下でも、従来の暗黙的モデルを上回る性能を発揮した。
• 定量的評価では、標準的な再構成指標（例：Chamfer Distance、F-Score）において、ベンチマークとしての現実世界データセットで明確な改善が確認された。
• アブレーションスタディの結果、エンコーダーとディスクライマーの両方のコンponentが全体の性能向上に顕著な寄与をしていることが確認された。