[論文レビュー] Learning to Detect 3D Reflection Symmetry for Single-View Reconstruction

Yichao Zhou, Shichen Liu+1 more|arXiv (Cornell University)|Jun 17, 2020

Advanced Vision and Imaging参考文献 53被引用数 5

ひとこと要約

本稿では、1枚のRGB画像から3次元反射対称面を検出し、それらを用いて正確な深度推定のための平面スイープコストボリュームを構築する、幾何学的注意を払ったディーブラーニングフレームワークであるSymmetryNetを提案する。対称性下での画像内ピクセル間対応関係を活用することで、非対称または未学習の物体に対しても、純粋にデータ駆動の手法を上回る、最先端の精度と一般化性能を達成する。

ABSTRACT

3D reconstruction from a single RGB image is a challenging problem in computer vision. Previous methods are usually solely data-driven, which lead to inaccurate 3D shape recovery and limited generalization capability. In this work, we focus on object-level 3D reconstruction and present a geometry-based end-to-end deep learning framework that first detects the mirror plane of reflection symmetry that commonly exists in man-made objects and then predicts depth maps by finding the intra-image pixel-wise correspondence of the symmetry. Our method fully utilizes the geometric cues from symmetry during the test time by building plane-sweep cost volumes, a powerful tool that has been used in multi-view stereopsis. To our knowledge, this is the first work that uses the concept of cost volumes in the setting of single-image 3D reconstruction. We conduct extensive experiments on the ShapeNet dataset and find that our reconstruction method significantly outperforms the previous state-of-the-art single-view 3D reconstruction networks in term of the accuracy of camera poses and depth maps, without requiring objects being completely symmetric. Code is available at https://github.com/zhou13/symmetrynet.

研究の動機と目的

• 単一視点3次元再構築の不適切な定式化を、特に反射対称性といった幾何的事前知識を組み込むことで、精度と一般化性能を向上させる。
• 粗〜細の戦略を用いて、単一RGB画像から3次元ミラー平面を検出するディーブラーニングフレームワークを開発する。
• 対称性に起因するピクセル対応関係を活用して、深度予測のための平面スイープコストボリュームを構築し、幾何学的整合性を向上させる。
• 純粋にデータ駆動のパターンに依存するのではなく、幾何的ヒントに依存することで、未学習のオブジェクトカテゴリや実世界の画像に対しても一般化を向上させる。
• 対称性に基づく幾何的事前知識が、再構築の忠実性と耐障害性において、純粋に学習ベースのアプローチを上回ることを示す。

提案手法

• 本手法は、入力RGB画像をマルチスケール特徴にエンコードするバックボーン特徴抽出モジュールを用いる。
• 微分可能ワーピングモジュールにより、画像内の対称的対応関係を介して特徴を投影し、平面スイープコストボリュームを構築する。
• コストボリュームネットワークが、反射対称性からの幾何制約を用いて、これらの3次元コストボリュームを処理し、深度マップを予測する。
• ミラー平面検出は、粗〜細の戦略により実行され、3次元対称面の正確な局所化を可能にする。
• 幾何的事前知識をエンドツーエンド学習パイプラインに統合することで、ネットワークが対称性に基づく写真一貫性から学習できるようにする。
• 確率テンソル内の複数の深度仮説の整合性を分析することで、深度の信頼性推定をサポートする。

実験結果

リサーチクエスチョン

• RQ1 反射対称性は、単一視点RGB画像において、3次元再構築を支援するために効果的に検出可能か？
• RQ2 画像内対称的対応関係から構築された平面スイープコストボリュームは、深度推定精度を向上させることができるか？
• RQ3 幾何的対称性事前知識を組み込むことで、純粋にデータ駆動の手法と比較して、未学習のオブジェクトカテゴリへの一般化性能が向上するか？
• RQ4 対称性が不完全な非対称または実世界のオブジェクトに対して、本手法はどのように性能を発揮するか？
• RQ5 対称性に基づく対応関係の整合性を分析することで、ネットワークは信頼性のある深度信頼性を学習できるか？

主な発見

• SymmetryNetは、完全な対称性を要件としない場合でも、最先端の単一視点再構築ネットワークを大きく上回る深度マップ精度とカメラポーズ推定性能を達成する。
• 本手法は、学習データに含まれなかったカテゴリ（例：船やソファー）に対しても、幾何的ヒントに依存することで良好な一般化性能を示す。
• 実世界の画像においても、ShapeNetからの合成データで学習したモデルが、高品質な深度マップと正確な対称面を生成する。
• 可視化結果から、SymmetryNetは特にチェアのアームレストやデスクフレームなどの複雑な部分において、より鋭い深度マップと優れた詳細回復を実現している。
• 深度信頼性マップは、遮蔽領域、非対称領域、テクスチャが欠落した領域でのみ不確実性が生じることを確認しており、幾何的期待と整合的である。
• 本手法は、対称的および非対称的ケースの両方で優れた性能を発揮し、対称性に基づく幾何的事前知識の耐障害性を示している。