[論文レビュー] PlaneNet: Piece-wise Planar Reconstruction from a Single RGB Image

Chen Liu, Shuicheng Yan+3 more|arXiv (Cornell University)|Apr 17, 2018

Advanced Vision and Imaging参考文献 39被引用数 15

ひとこと要約

PlaneNetは、1枚のRGB画像から、平面パラメータと確率的セグメンテーションマスクを直接予測するエンドツーエンドのディーブニューラルネットワークを提案する。平面の順序に依存しない損失関数を活用し、ScanNetから得た50,000以上の合成トレーニングサンプルを用いることで、平面セグメンテーションおよび深度推定の両面で最先端の性能を達成した。

ABSTRACT

This paper proposes a deep neural network (DNN) for piece-wise planar depthmap reconstruction from a single RGB image. While DNNs have brought remarkable progress to single-image depth prediction, piece-wise planar depthmap reconstruction requires a structured geometry representation, and has been a difficult task to master even for DNNs. The proposed end-to-end DNN learns to directly infer a set of plane parameters and corresponding plane segmentation masks from a single RGB image. We have generated more than 50,000 piece-wise planar depthmaps for training and testing from ScanNet, a large-scale RGBD video database. Our qualitative and quantitative evaluations demonstrate that the proposed approach outperforms baseline methods in terms of both plane segmentation and depth estimation accuracy. To the best of our knowledge, this paper presents the first end-to-end neural architecture for piece-wise planar reconstruction from a single RGB image. Code and data are available at https://github.com/art-programmer/PlaneNet.

研究の動機と目的

• 単一のRGB画像から構造的で部分的平面的な深度マップを再構成する課題に取り組むこと。これは、単一画像深度推定分野の進展にもかかわらず、依然として困難な課題である。
• 平面の数や順序に関する事前知識を必要としない、平面パラメータとセグメンテーションマスクを同時に予測できるディープラーニングフレームワークの開発。
• 順序に依存しない微分可能損失関数を用いて、屋内シーンの幾何構造をモデル化することで、平面セグメンテーションおよび深度推定の精度を向上させること。
• 拡張現実やルームレイアウト推定などの下流アプリケーションを可能にする、堅牢でエンドツーエンドのニューラルアーキテクチャの構築。
• ScanNetデータセットから50,000以上の高品質な合成トレーニングおよびテストサンプルを生成することで、部分的平面的再構成のベンチマークを確立すること。

提案手法

• ネットワークはエンドツーエンドで、1枚のRGB画像から平面パラメータ（法線と距離）と各平面の確率的セグメンテーションマスクを予測するように学習される。
• 出力における平面の順序に依存しない、新たな損失関数が設計され、正例の平面順序が不要な学習を可能にした。
• 平面の数は、セグメンテーションマスクがすべて0になることで制御され、信頼度が低い平面が効果的に抑制される。
• 非平面領域では深度マップが予測され、その損失は確率的セグメンテーションマスクによって重み付けされ、バックプロパゲーションを可能にする。
• 平面の法線を用いて投票方式によりマンハッタン方向を抽出し、テクスチャ編集用途のためのUV座標の整合性を確保する。
• 一貫した予測された平面の順序に基づいて、凹型ハル構築と複数の構成間での合意スコアリングを用いたルームレイアウト推定モジュールを構築した。

実験結果

リサーチクエスチョン

• RQ1 教師なしで平面の順序や数に関する知識を必要とせずに、深層ニューラルネットワークが1枚のRGB画像から平面パラメータとセグメンテーションマスクを学習して予測できるか？
• RQ2 複数平面予測タスクにおいて、平面出力の順列に依存しない微分可能損失関数をどのように設計できるか？
• RQ3 単一画像ネットワークが、深度またはレイアウトに特化して訓練された手法と比較して、どの程度優れた性能を達成できるか？
• RQ4 予測された平面の順序を活用することで、ごみや遮蔽があるような複雑なシーンにおいてもルームレイアウトを推定できるか？
• RQ5 低テクスチャまたは極めてごみだらけの環境において、このようなシステムの失敗モードはどのようなものか？

主な発見

• PlaneNetは、定性的および定量的ベンチマークの両面で、既存手法を大きく上回る、部分的平面セグメンテーションにおける最先端の性能を達成した。
• 特定のタスクに特化して訓練されていないにもかかわらず、専用の単一画像深度推定ネットワークと同等またはそれ以上の深度予測精度を達成した。
• NYUv2 303データセットにおいて、PlaneNetは12.64%のレイアウト誤差を達成し、先行する最先端手法（RoomNet）の12.96%の誤差を上回った。
• 教師なしで一貫した平面の順序を学習した—例えば床は常に2番目の平面として一貫して予測された—これにより、信頼性の高いルームレイアウト推定が可能になった。
• 失敗モードとして、低照度領域におけるほぼ同一平面の表面の誤分類、同様のテクスチャを持つ床と壁の混同、ごみによる薄い構造物（柱など）の検出不能が観察された。
• 予測された法線から導出される平面に沿ったUV座標を活用することで、テクスチャ挿入や交換といった実用的なARアプリケーションが可能になった。