[論文レビュー] LayoutNet: Reconstructing the 3D Room Layout from a Single RGB Image

Chuhang Zou, Alex Colburn+2 more|arXiv (Cornell University)|Mar 23, 2018

Advanced Vision and Imaging参考文献 29被引用数 31

ひとこと要約

LayoutNet は、1枚のRGBパノラマ画像またはパースペクティブ画像から3次元部屋レイアウトを再構築するためのディーブラーニングフレームワークであり、消失点アライメント、CNNエンコーダデコーダを用いたコーナーと境界の共同予測、および制約付きマンハッタンレイアウト最適化を活用する。パノラマおよびパースペクティブ画像において最先端の精度を達成するとともに、'L'字型の部屋など非直方体レイアウトにも一般化可能である。

ABSTRACT

We propose an algorithm to predict room layout from a single image that generalizes across panoramas and perspective images, cuboid layouts and more general layouts (e.g. L-shape room). Our method operates directly on the panoramic image, rather than decomposing into perspective images as do recent works. Our network architecture is similar to that of RoomNet, but we show improvements due to aligning the image based on vanishing points, predicting multiple layout elements (corners, boundaries, size and translation), and fitting a constrained Manhattan layout to the resulting predictions. Our method compares well in speed and accuracy to other existing work on panoramas, achieves among the best accuracy for perspective images, and can handle both cuboid-shaped and more general Manhattan layouts.

研究の動機と目的

• 1枚のRGBパノラマ画像またはパースペクティブ画像から3次元部屋レイアウトを再構築する統合的ディープラーニング手法を構築し、パースペクティブとパノラマの両入力に一般化可能であることを目的とする。
• 消失点やマンハッタン制約といった幾何的プライアを組み込むことで、精度とロバスト性を向上させる。
• 直方体形状の部屋にとどまらず、'L'字型の部屋のようなより複雑な非直方体マンハッタンレイアウトに対応することを目的とする。
• 特にロボット工学やAR/VRにおけるリアルタイム応用を想定し、高い推論速度を維持しながら高い精度を達成することを目的とする。
• 等角パノラマを複数のパースペクティブビューに分解せずに直接処理できるスケーラブルでエンドツーエンドのフレームワークを提供することを目的とする。

提案手法

• 本手法は、まず消失点を推定し、パノラマ画像を床面を水平にアライメントすることで、幾何的歪みを低減し、予測の一貫性を向上させる。
• エンコーダデコーダ構造とスキップ接続を備えたCNNが、アライメント済み入力画像からコーナーと境界の確率マップを共同で予測する。
• ネットワークは、コーナーおよび境界予測のための交差エントロピー損失と、正確な最終レイアウト再構築を促進する3次元レイアウトパラメータ回帰損失で訓練される。
• 後処理最適化ステップでは、予測されたコーナーと境界にマンハッタン制約付き3次元レイアウトをフィッティングし、直交性と平面性を強制する。
• ネットワークの検出を支援するため、RGBパノラマと事前計算されたマンハッタンラインマップの組み合わせを入力として使用する。
• 本フレームワークは、PanoContextおよびStanford 2D-3Dデータセットで訓練され、データ拡張と共同学習により一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 1枚のRGBパノラマ画像から高精度な3次元部屋レイアウト再構築が可能であり、非直方体レイアウトにも一般化可能であるか？
• RQ2 消失点に基づく画像アライメントは、アライメントなし入力と比較して、レイアウト予測精度をどのように向上させるか？
• RQ3 コーナーと境界の共同予測は、単一タスク予測と比較して、レイアウト推定においてどの程度優れているか？
• RQ4 最終損失が微分可能でないにもかかわらず、トレーニング中に3次元レイアウトパラメータ回帰損失を組み込むことで、最終レイアウト精度が向上するか？
• RQ5 パノラマおよびパースペクティブ画像ベンチマークにおいて、LayoutNetは既存手法と比較して速度と精度の両面でどの程度優れているか？

主な発見

• Hedauデータセットでは、LayoutNetは9.69%のピクセル誤差率を達成し、2位（RoomNet recurrent 3-iter：8.36%）に次ぐ精度を示し、先行手法（Dasgupta et al.：9.73%）を上回った。
• PanoContextベンチマークでは、LayoutNetはL2誤差18.51、コサイン距離5.85を達成し、Yang et al.（27.02および4.27）を上回った。
• 1枚のパースペクティブ画像を39ms（25 FPS）で処理でき、RoomNet（52ms）やRoomNet recurrent（168ms）を含む同程度のSOTA手法の中で最も高速であった。
• アブレーションスタディの結果、3次元レイアウト損失を伴うコーナーと境界の共同予測が最良の性能を示し、交差エントロピー損失がL2損失を上回ることが判明した。
• アライメント、マンハッタン制約、最適化を含む完全モデルが最高の精度を達成しており、アブレーションにより各コンponentが顕著に寄与していることが確認された。
• LayoutNetは、'L'字型の部屋のような非直方体レイアウトを成功裏に再構築でき、360°パノラマを用いた小規模なカスタムデータセットを用いて、標準的な直方体仮定を超えた一般化を示した。