[論文レビュー] Object-Centric Multi-View Aggregation

Shubham Tulsiani, Or Litany+3 more|arXiv (Cornell University)|Jul 20, 2020

Advanced Vision and Imaging参考文献 37被引用数 5

ひとこと要約

本論文は、カメラポーズを明示的に推定せずに、スパarsな2Dビューを標準化された3D座標系に持ち上げるオブジェクト中心のマルチビュー集約手法を提案する。対称性に配慮した座標予測により特徴の伝搬を向上させ、ポーズのあいまいさを解消する。このアプローチは、3D特徴グリッド表現を半暗黙的（semi-implicit）に学習し、ロバストな3D再構築と新規ビュー合成を可能にし、定量的・定性的な評価において、implicitおよびカメラ中心のベースラインを上回る性能を発揮する。

ABSTRACT

We present an approach for aggregating a sparse set of views of an object in order to compute a semi-implicit 3D representation in the form of a volumetric feature grid. Key to our approach is an object-centric canonical 3D coordinate system into which views can be lifted, without explicit camera pose estimation, and then combined -- in a manner that can accommodate a variable number of views and is view order independent. We show that computing a symmetry-aware mapping from pixels to the canonical coordinate system allows us to better propagate information to unseen regions, as well as to robustly overcome pose ambiguities during inference. Our aggregate representation enables us to perform 3D inference tasks like volumetric reconstruction and novel view synthesis, and we use these tasks to demonstrate the benefits of our aggregation approach as compared to implicit or camera-centric alternatives.

研究の動機と目的

• スパースな2D画像集合と未知のカメラポーズから3D再構築を実現すること、特に1〜4枚のビューを持つオンライン製品マーケットプレイスのような状況を想定する。
• カメラ中心型および完全にimplicitな手法の限界を克服するため、幾何的インダクティブバイアスを埋め込んだオブジェクト中心の3D座標系を導入すること。
• オブジェクトの対称性を活用して特徴の伝搬を強化し、ポーズのあいまいさを解消することで、カメラポーズ推定なしにロバストなビュー集約を実現すること。
• ボクセル化されたグリッドと学習可能なランタイム特徴を組み合わせた、エンドツーエンドの訓練が可能な半暗黙的3D表現を開発すること。
• 3D再構築および新規ビュー合成の分野で、implicitおよびカメラ中心の集約ベースラインを上回る性能を示すこと。

提案手法

• 入力画像から各ピクセルの特徴を抽出するために2D CNNを用い、その後、オブジェクト中心の標準化された空間における3D座標と信頼度マップを、対称性に配慮した予測を実行する。
• 各ピクセルに対して、標準化されたオブジェクト空間内の3D座標と信頼度スコアを予測することで、2D特徴を3Dボクセルに持ち上げるが、幾何的構造を保持する。
• 対称性に配慮したリフトにより、観測された領域の対称的対応領域を推定でき、特徴カバレッジを向上させ、遮蔽や対称的部分によるあいまいさを低減する。
• 複数のビューからのリフト済み特徴を、標準化された空間で平均化して集約し、その後3D-UNetを用いて精練することで、統一された半暗黙的3D表現を生成する。
• 最終的な表現は、ボリュメトリック再構築や新規ビュー合成といった、タスク固有のヘッドを介して、下流タスクをサポートする。
• パイプライン全体はエンドツーエンドで訓練され、真値3D形状およびレンダリング済み画像からの監督信号を受ける。

実験結果

リサーチクエスチョン

• RQ1 オブジェクト中心の3D座標系は、明示的なカメラポーズ推定なしに効果的なマルチビュー集約を可能にするか？
• RQ2 対称性に配慮したリフトは、少数のビューからの3D再構築における特徴伝搬とあいまいさの低減にどのように寄与するか？
• RQ3 学習可能なボクセル特徴を備えた半暗黙的3D表現は、完全にimplicitまたはカメラ中心の表現を上回る性能を発揮するか？
• RQ4 対称性に配慮した座標予測は、再構築品質および新規ビュー合成の忠実度をどの程度向上させるか？
• RQ5 未キャリブレーションでスパースなビューとオブジェクトマスクを有する現実世界のデータに、この手法はどの程度一般化可能か？

主な発見

• 提案手法は、ベンチマークデータセットにおいて3D再構築および新規ビュー合成の分野で最先端の性能を達成し、implicitおよびカメラ中心のベースラインと比較してL1誤差が低かった。
• 対称性に配慮したリフトの導入により、再構築誤差が低減され、特に1〜4枚のビューしかない状況での一般化性能が向上した。
• 勾配のバックプロパゲーション解析により、モデルが視点間で対応するピクセルおよび対称的ピクセルに依存していることが確認され、学習された対応関係メカニズムの妥当性が裏付けられた。
• 実画像（回転する物体やオンライン製品画像など）に対する定性的な結果から、正確な形状再構築と妥当な新規ビュー合成が実現された。
• すべての対称的リフトからの特徴集約により、対称的な物体の前面と背面を区別するポーズのあいまいさが効果的に解消された。
• 半暗黙的3D表現により、強力な幾何的インダクティブバイアスを備えた高精度な3D推論が可能となり、解像度が低いimplicit特徴を有する手法を上回った。