[論文レビュー] Cooperative Holistic Scene Understanding: Unifying 3D Object, Layout, and Camera Pose Estimation

Siyuan Huang, Siyuan Qi+4 more|arXiv (Cornell University)|Oct 30, 2018

Advanced Vision and Imaging被引用数 36

ひとこと要約

本論文は、単一のRGB画像から包括的な3次元屋内シーン理解をエンドツーエンドでリアルタイムに実現するフレームワークを提案する。3次元物体検出、レイアウト推定、カメラポーズ予測を統合する。3次元バウンディングボックスのパrametrized定式化と協調損失を導入し、2D-3D整合性と物理的妥当性を強制することで、SUN RGB-Dデータセットで最先端の性能を達成し、精度と効率性の両面で顕著な向上を実現した。

ABSTRACT

Holistic 3D indoor scene understanding refers to jointly recovering the i) object bounding boxes, ii) room layout, and iii) camera pose, all in 3D. The existing methods either are ineffective or only tackle the problem partially. In this paper, we propose an end-to-end model that simultaneously solves all three tasks in real-time given only a single RGB image. The essence of the proposed method is to improve the prediction by i) parametrizing the targets (e.g., 3D boxes) instead of directly estimating the targets, and ii) cooperative training across different modules in contrast to training these modules individually. Specifically, we parametrize the 3D object bounding boxes by the predictions from several modules, i.e., 3D camera pose and object attributes. The proposed method provides two major advantages: i) The parametrization helps maintain the consistency between the 2D image and the 3D world, thus largely reducing the prediction variances in 3D coordinates. ii) Constraints can be imposed on the parametrization to train different modules simultaneously. We call these constraints "cooperative losses" as they enable the joint training and inference. We employ three cooperative losses for 3D bounding boxes, 2D projections, and physical constraints to estimate a geometrically consistent and physically plausible 3D scene. Experiments on the SUN RGB-D dataset shows that the proposed method significantly outperforms prior approaches on 3D object detection, 3D layout estimation, 3D camera pose estimation, and holistic scene understanding.

研究の動機と目的

• 単一のRGB画像からの包括的3次元屋内シーン理解の課題に取り組む。既存の手法は非効率または不完全である。
• 直接的な3次元座標回帰ではなく、予測されたカメラポーズと物体属性を用いて3次元バウンディングボックスをパrametrized化することで、2D-3D整合性を向上させる。
• 幾何的および物理的制約を強制する協調損失を用いて、3次元物体検出、レイアウト推定、カメラポーズ推定の3つのモジュールを統合的に訓練・推論可能にする。
• 複雑な屋内シーンにおいても高い精度と物理的妥当性を維持しながら、リアルタイムの性能を達成する。

提案手法

• 2Dボックス中心、予測されたカメラポーズ、物体属性を用いて3次元物体バウンディングボックスをパrametrized化し、2D-3D整合性を維持する。
• 3次元ボックスを再び画像平面に投影する微分可能な2D投影損失を導入し、2D検出と一致させる。
• 2D投影損失、幾何的整合性損失、物理的制約損失の協調損失を設計し、3つのモジュールを同時に訓練する。
• 単一のRGB画像を処理し、同時に3次元レイアウト、カメラポーズ、3次元物体ボックスを出力する統合的エンドツーエンドのディープラーニングアーキテクチャを採用する。
• 物体サイズの事前知識や空間的妥当性を制約として適用し、一般化性能を向上させ、予測のばらつきを低減する。
• 完全な3次元アノテーションがなくても、2Dの監視、3次元の監視、非監視制約の組み合わせで学習することで、頑健な推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 3次元バウンディングボックスのパrametrized定式化を用いることで、3次元シーン理解における2D-3D整合性を効果的に強制できるか？
• RQ2 3次元物体検出、レイアウト推定、カメラポーズ推定の間で協調的トレーニングを実施することで、全体の性能と一般化能力が向上するか？
• RQ3 物理的妥当性と幾何的整合性を、エンドツーエンドの学習フレームワークに微分可能制約として組み込むことはどの程度可能か？
• RQ4 完全に監視されたモデルを、3次元検出精度を損なわずに弱監視または非監視の代替に置き換えられるか？

主な発見

• 提案手法は、SUN RGB-Dデータセットにおいて3次元物体検出、3次元レイアウト推定、3次元カメラポーズ推定、包括的シーン理解のすべてで最先端の性能を達成した。
• 2D投影損失を削除した場合（S2）、2D mIoUが著しく8.0%低下し、2D-3D整合性を維持する上でその損失が極めて重要な役割を果たしていることが示された。
• 3次元監視なしで学習したモデル（S4）でさえ、サイズ事前知識を活用することで妥当な3次元バウンディングボックスを生成でき、非監視制約の有効性が裏付けられた。
• アブレーションスタディにより、協調損失が3次元監視が限られる状況でも、すべてのタスクの性能を顕著に向上させることを確認した。
• リアルタイムの推論速度を達成しており、ロボット工学やAR/VRアプリケーションへの実用的導入に適している。
• 合成データでの事前学習（S5）と投影2Dボックスの使用（S6）は、ほぼ同等の性能を示し、アノテーション不足に対しても頑健であることが示された。