[論文レビュー] OmniDepth: Dense Depth Estimation for Indoors Spherical Panoramas

Nikolaos Zioulis, Antonis Karakottas+2 more|arXiv (Cornell University)|Jul 25, 2018

Advanced Vision and Imaging被引用数 26

ひとこと要約

本稿では、360°等角投影画像から直接、密度的な深度推定を実現するエンドツーエンドのディーブラーニングフレームワークであるOmniDepthを提案する。既存の3DインDoorシーンから大規模な360°データセットを合成することで、2D投影画像で学習した単眼モデルを等角投影入力に適応した場合と比較して、優れた深度推定性能を達成し、球面パノラマのドメイン固有の学習の必要性を示している。

ABSTRACT

Recent work on depth estimation up to now has only focused on projective images ignoring 360 content which is now increasingly and more easily produced. We show that monocular depth estimation models trained on traditional images produce sub-optimal results on omnidirectional images, showcasing the need for training directly on 360 datasets, which however, are hard to acquire. In this work, we circumvent the challenges associated with acquiring high quality 360 datasets with ground truth depth annotations, by re-using recently released large scale 3D datasets and re-purposing them to 360 via rendering. This dataset, which is considerably larger than similar projective datasets, is publicly offered to the community to enable future research in this direction. We use this dataset to learn in an end-to-end fashion the task of depth estimation from 360 images. We show promising results in our synthesized data as well as in unseen realistic images.

研究の動機と目的

• 既存の3Dインテリアデータセットから大規模な合成360°データセットを生成することで、360°深度推定のための教師あり学習データの不足を解決すること。
• 等角投影パノラマ画像に対してエンドツーエンドの深度推定を目的としたディーブラーニングモデルを構築すること。
• 2D投影画像で学習した単眼深度モデルを360°等角投影入力に直接適用した場合、性能が著しく劣ることを示し、球面パノラマのドメイン固有の学習の必要性を強調すること。
• 提案手法の有効性を、合成データおよび実世界の未観測360°画像（Sun360データセット）の両方で検証すること。

提案手法

• ScanNet や Matterport3D などの既存の3Dインテリアデータセットからレンダリングすることで、360°等角投影画像と対応する真値深度マップを生成する。
• 等角投影画像を処理し、密度的な深度マップを予測することを目的とした、独自に設計されたCNNオートエンコーダアーキテクチャ「RectNet」を提案する。
• 予測深度マップと真値深度マップの間の平均絶対誤差（MAE）を損失関数として、教師あり学習でモデルを訓練する。
• 一般化性能およびロバストネスを向上させるために、多様なカメラの視点と照明条件を用いたデータ拡張を実施する。
• 評価は合成360°データセットおよび実世界のSun360データセットの両方で実施され、RMSE、MAE、δしきい値といった定量的指標が用いられる。
• 比較のため、単眼深度モデル（例：Laina et al.）を等角投影画像および同じ画像のキューブマップ表現に適用し、評価のため等角投影形式に再統合した結果を用いる。

実験結果

リサーチクエスチョン

• RQ1 360°等角投影画像上で直接学習されたディーブラーニングモデルは、このドメインに適応された単眼深度モデルを上回る性能を示せるか？
• RQ2 2D投影画像で学習したモデルと360°球面データで学習したモデルが等角投影入力に適用された場合の性能差はどの程度か？
• RQ3 既存の3Dインテリアデータセットから生成された合成360°データセットは、深度推定モデルの学習にどの程度有効か？
• RQ4 真値がない実世界の未観測360°パノラマに対して、360°モデルはどの程度一般化できるか？
• RQ5 2D画像の局所的視点と比較して、360°画像に内在するグローバルなコンテキストは深度推論を向上させるか？

主な発見

• 提案されたRectNetモデルは、等角投影入力に適応した単眼モデルと比較して、合成テストセットでRMSEが23.5%低い顕著な定量的性能を達成した。
• 合成360°データセットにおけるテストセットのRMSEは0.185、MAEは0.112を達成し、すべてのベースライン単眼モデルを上回った。
• 実世界のSun360データセットでの評価では、RectNetモデルは妥当な深度予測を生成したが、Laina et al.のモデルのみが同程度の質的結果を示した。
• 単眼モデルにキューブマップ変換を適用した場合、各面での深度スケールが一貫せず、面ごとの中央値スケーリングを施しても、RectNetモデルの性能を上回ることはできなかった。
• 合成360°データセットで学習したモデルは、真値のない未観測の実世界360°パノラマに対しても良好に一般化しており、ドメインシフトに対するロバストネスを示している。
• アブレーションスタディの結果、幾何的歪みやグローバルコンテキストの理解不足のため、2Dで学習したモデルを等角投影入力に直接移行すると最適でない結果となることが確認され、360°ドメインで直接学習することが不可欠であることが示された。