[論文レビュー] DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama

Shang-Ta Yang, Fu-En Wang+4 more|arXiv (Cornell University)|Nov 29, 2018

Advanced Vision and Imaging参考文献 32被引用数 6

ひとこと要約

DuLa-Net は、同一の equirectangular パノラマとパースペクティブ天井ビュー投影を共同で分析することで、1枚のRGBパノラマから3D マンハッタン・ワールドのルームレイアウトを推定する二重投影のディーブラーニングフレームワークを提案する。2つのエンコーダ・デコーダブランチ間での特徴量の統合に加え、Realtor360 データセットの導入により、特に非直方体なレイアウトにおいて最先端の精度を達成するとともに、従来手法と比較して推論時間を 3.28 倍短縮した。

ABSTRACT

We present a deep learning framework, called DuLa-Net, to predict Manhattan-world 3D room layouts from a single RGB panorama. To achieve better prediction accuracy, our method leverages two projections of the panorama at once, namely the equirectangular panorama-view and the perspective ceiling-view, that each contains different clues about the room layouts. Our network architecture consists of two encoder-decoder branches for analyzing each of the two views. In addition, a novel feature fusion structure is proposed to connect the two branches, which are then jointly trained to predict the 2D floor plans and layout heights. To learn more complex room layouts, we introduce the Realtor360 dataset that contains panoramas of Manhattan-world room layouts with different numbers of corners. Experimental results show that our work outperforms recent state-of-the-art in prediction accuracy and performance, especially in the rooms with non-cuboid layouts.

研究の動機と目的

• 1枚のRGBパノラマからの3Dルームレイアウト推定の精度を向上させること、特に複雑な非直方体なレイアウトに対して。
• 家具や反射面などのオクルージョンやごみだらけのインテリアシーンに起因する課題に対処すること。
• 2次元フロアプラン確率マップをエンドツーエンドで直接予測することで、後処理の複雑さを軽減すること。
• 複雑なルームレイアウトを有する大規模かつ多様なアノテート済みインテリアパノラマデータセットを構築し、学習と評価に活用すること。
• 従来手法で一般的に見られる時間のかかる最適化手順を最小限に抑えることで、推論を高速化すること。

提案手法

• ネットワークは、同じ入力パノラマの equirectangular パノラマビューとパースペクティブ天井ビューの2つの並列エンコーダ・デコーダブランチを用いる。
• 2つのデコーダの最初の数層を接続する、新しい E2P（equirectangular からパースペクティブへの変換）に基づく特徴量統合メカニズムを導入し、ブランチ間での特徴量交換を可能にする。
• パノラマブランチは床・天井の確率マップとレイアウト高さを予測する。天井ビュー・ブランチは、天井ビュー投影におけるフロアプラン確率マップを予測する。
• 最終的な2次元フロアプランは、3つの統合されたフロアプランマップの重み付き平均に、マンハッタン・ワールドに整合する多角形をフィッティングすることで生成される。
• マルチタスク損失関数を用いて、フロアプランの正確さとレイアウト高さの予測を同時に最適化するように、システムを共同で学習させる。
• 4〜12角形を持つ2,573枚のアノテート済みパノラマからなる Realtor360 データセットを、非直方体なレイアウトの学習を支援するために作成した。

Figure 1: 3D room layouts with different complexity are estimated from a single RGB panorama using our system. ( Left to right ) Room layout with a floor plan of 6 corners, 8 corners, and 10 corners. The checkerboard patterns on the walls indicate the missing textures due to occlusion.

実験結果

リサーチクエスチョン

• RQ1 1枚のパノラマの二重投影分析が、特に複雑な非直方体な部屋に対して3Dルームレイアウト推定の精度を向上させることができるか？
• RQ2 異なる2つのビュー投影間での特徴量統合は、単一ビューのネットワークと比較して、より優れた汎化性能と性能をもたらすか？
• RQ3 エンドツーエンドのディーブラーニングフレームワークは、従来の最先端手法と比較して、後処理最適化手順への依存を軽減できるか？
• RQ4 本手法は、単純な直方体を超える多様で複雑なルームレイアウトを有するデータセットにおいて、どのように性能を発揮するか？
• RQ5 大規模かつ多様なデータセット（Realtor360）の導入が、複雑なレイアウトにおけるモデルの汎化性能と性能をどの程度向上させるか？

主な発見

• PanoContext データセットにおいて、DuLa-Net は 3D IoU 77.42% を達成し、LayoutNet の 74.48% を上回った。
• Stanford 2D-3D データセットでは、DuLa-Net が 3D IoU 79.36% を達成し、LayoutNet の 76.33% を上回った。
• エンドツーエンドの推論時間は1シーンあたり13.4秒に短縮され、LayoutNet の43.9秒と比較して3.28倍高速化された。
• アブレーションスタディの結果、特徴量統合を伴う両ブランチの共同学習が、単一ブランチや非統合構成よりも優れた性能を示した。
• 4角形を超える部屋において特に高い性能向上が確認され、複雑な非直方体レイアウトに対する優れた能力を示した。
• 失敗事例から、反射面や大きなオクルーダーの処理に限界があることが判明し、今後の研究ではオブジェクトの意味的情報を統合する必要があると示唆された。

Figure 2: Our network architecture follows the encoder-decoder scheme and consists of two branches. Given a panorama in equirectangular projection, we additionally create a perspective ceiling-view image through a equirectangular-to-perspective (E2P) conversion. The panorama and the ceiling-view ima