[論文レビュー] Pano Popups: Indoor 3D Reconstruction with a Plane-Aware Network

Marc Eder, Pierre Moulon+1 more|arXiv (Cornell University)|Jul 1, 2019

Advanced Vision and Imaging参考文献 29被引用数 4

ひとこと要約

本稿では、主曲率に基づく新しい損失関数を用いて幾何的整合性を向上させる平面認識型畳み込みニューラルネットワークを提案する。このネットワークは、1枚の$360^\circ$インDoor画像から深度、表面法線、平面境界を予測する。本手法は、単眼のオムニディレクショナル深度および法線推定において最先端の性能を達成し、地図としての測地的座標マップを事前知識として組み合わせることで、高品質な3D「ポップアップ」再構成を実現する。

ABSTRACT

In this work we present a method to train a plane-aware convolutional neural network for dense depth and surface normal estimation as well as plane boundaries from a single indoor $360^\circ$ image. Using our proposed loss function, our network outperforms existing methods for single-view, indoor, omnidirectional depth estimation and provides an initial benchmark for surface normal prediction from $360^\circ$ images. Our improvements are due to the use of a novel plane-aware loss that leverages principal curvature as an indicator of planar boundaries. We also show that including geodesic coordinate maps as network priors provides a significant boost in surface normal prediction accuracy. Finally, we demonstrate how we can combine our network's outputs to generate high quality 3D "pop-up" models of indoor scenes.

研究の動機と目的

• パースペクティブ画像よりも広い視野を提供する$360^\circ$オムニディレクショナル画像を用いた、インDoorシーンにおける単一視点3D再構成の課題に対処すること。
• 平面性や曲率などの幾何的事前知識を組み込むことで、オムニディレクショナル画像の深度および表面法線推定の精度を向上させること。
• 予測された深度、法線、平面境界を用いて、1枚の$360^\circ$画像から高品質な3D平面モデル（「ポップアップ」モデル）を生成する手法を開発すること。
• 測地的座標マップが、球面画像表現における表面法線推定の精度を向上させる有効な事前知識であることを示すこと。
• 既存の文献で未だ十分に検討されていない、$360^\circ$画像からの平面境界検出および表面法線予測のベンチマークを確立すること。

提案手法

• 深度と表面法線・曲率予測のための別々のデコーダーブランチを備えた、マルチスケールのエンコーダデコーダーCNNアーキテクチャを採用する。
• 各画素の損失への寄与度をその主曲率に応じて調節する、新しい平面認識型損失関数を導入し、予測の平面的整合性を促進する。
• 球面画像面上の空間的関係を学習するのを支援するために、測地的座標マップを追加の入力チャネルとして使用する。これにより、法線推定の精度が向上する。
• 平面境界は、表面法線の不連続性を検出する別々のヘッドで予測し、Otsuのしきい値法を用いて連結成分をセグメンテーションし、3Dモデル生成に用いる。
• RANSACを用いて法線と深度情報から平面方程式を推定し、その後、逆投影とイコサヘドロングリッド上のメッシュ化によって3D平面モデルを再構成する。
• 予測された法線から導出される曲率を含めた、深度、法線、曲率の監視を統合した複合損失関数を用いて、エンドツーエンドでネットワークを訓練する。

Figure 1 : Visualization of our paper’s contributions. Given an RGB omnidirectional image (top), we predict depth, surface normals, and plane boundary maps (middle) with state-of-the-art accuracy. Then we show we can use this information to achieve a planar segmentation and 3D reconstruction of the

実験結果

リサーチクエスチョン

• RQ1 主曲率に基づく平面認識型損失関数は、$360^\circ$画像における深度および表面法線推定の精度を向上させることができるか？
• RQ2 測地的座標マップを入力事前知識として組み込むことで、オムニディレクショナル画像の表面法線推定精度が向上するか？
• RQ3 1枚の$360^\circ$画像のみで、ステレオやマルチビュー情報が存在しない状況でも、高品質な3D平面再構成がどの程度可能か？
• RQ4 本手法は、オムニディレクショナル画像に適用した場合、既存の単眼深度推定ネットワークと比較してどのように性能を発揮するか？
• RQ5 ネットワークの出力を効果的に統合することで、1枚の入力画像から鋭いエッジを持つ平面的3D「ポップアップ」モデルを生成できるか？

主な発見

• 提案された平面認識型損失関数は、$360^\circ$インDoor深度推定ベンチマークにおいて、深度および表面法線推定の精度を顕著に向上させ、最先端の性能を達成した。
• 測地的座標マップを入力チャネルとして組み込むことで、壁などの大きな平面領域における法線推定の誤差が明確に低減された。
• 高品質な平面境界マップを生成し、シーン内の平面領域をしきい値フリーで堅牢にセグメンテーションできるようになった。
• ネットワークの出力から生成された3D「ポップアップ」モデルは、鋭く明確な平面境界を示しており、滑らかでノイズの多い再構成を示すベースラインの深度のみの手法を上回った。
• RANSAC平面フィッティングプロセスに表面法線を統合することで、深度のみのフィッティングに比べ、はるかに正確で安定した3D再構成が得られた。
• 本手法は、幾何的事前知識と曲率認識学習を組み合わせることで、1枚の$360^\circ$画像から詳細でピecewise平面的な3D再構成が可能であることを示した。

Figure 2 : Overview of our network architecture. The vectors next to each layer are $\left[\begin{smallmatrix}\text{input features}\\ \text{output features}\end{smallmatrix}\right]$ for each. Above each layer is the kernel size, ‘T’ indicates transposed convolution, ‘s#’ indicates stride, and ‘d#’ i