[論文レビュー] PlaneRCNN: 3D Plane Detection and Reconstruction from a Single Image

Chen Liu, Kihwan Kim+3 more|arXiv (Cornell University)|Dec 10, 2018

Advanced Neural Network Applications参考文献 50被引用数 6

ひとこと要約

PlaneRCNN は、マスク R-CNN をベースにした検出ネットワークを用いて、1枚の RGB イメージから平面的構造を検出し、再構築する新しい深層学習フレームワークである。平面パラメータ、セグメンテーションマスク、深度マップを予測する。セグメンテーションの微調整ネットワークと、隣接する視点との整合性を強制するワーピング損失により、精度が向上し、平均1枚あたり14.7平面を含む、細分化された新しいベンチマークで最先端の手法を上回っている。

ABSTRACT

This paper proposes a deep neural architecture, PlaneRCNN, that detects and reconstructs piecewise planar surfaces from a single RGB image. PlaneRCNN employs a variant of Mask R-CNN to detect planes with their plane parameters and segmentation masks. PlaneRCNN then jointly refines all the segmentation masks with a novel loss enforcing the consistency with a nearby view during training. The paper also presents a new benchmark with more fine-grained plane segmentations in the ground-truth, in which, PlaneRCNN outperforms existing state-of-the-art methods with significant margins in the plane detection, segmentation, and reconstruction metrics. PlaneRCNN makes an important step towards robust plane extraction, which would have an immediate impact on a wide range of applications including Robotics, Augmented Reality, and Virtual Reality.

研究の動機と目的

• 従来の手法が小平面の検出に限界を示し、屋内・屋外シーンなどさまざまなドメインに一般化できない問題を解決する。
• 1枚の画像からの3次元平面再構築が不適切な問題であることを踏まえ、強い幾何的事前知識と全体的なシーン理解を組み込む。
• 事前に固定された最大平面数を入力として必要としない、柔軟で任意の数の平面検出を可能にする。
• トレーニング中にセグメンテーションと深度マップの精度を、共同最適化とマルチビューの一貫性により向上させる。
• より良い評価と最先端技術の発展を促進するため、細分化され、密度の高い平面アノテーションを備えた新しい高品質ベンチマークを提供する。

提案手法

• マスク R-CNN を変更して検出ネットワークとして用い、1枚の RGB イメージからインスタンスマスク、平面法線、ピクセルごとの深度値を予測する。
• 他のマスクからの特徴積み上げを活用する U-Net アーキテクチャを持つセグメンテーション微調整ネットワークを導入し、検出されたすべての平面におけるマスクの一貫性を向上させる。
• 予測された深度マップと同一シーンの2番目の視点との間の幾何的一致性を強制するワーピング損失モジュールを設計し、エンドツーエンドのトレーニングで利用する。
• ScanNet データセットからの3次元スキャンを用いて、深度テストによる除去と凸性／凹性の推論を活用して、遮蔽された表面の完全なマスクを含む、真値の平面アノテーションを生成する。
• 検出、微調整、ワーピングの目的を統合したマルチタスク損失を用いて、エンドツーエンドでモデルをトレーニングし、平面検出、セグメンテーション、深度推定を同時に最適化する。
• 3次元平面幾何に基づく深度マップ統合ルールを活用して、マスク予測ヘッドを変更し、各平面の完全なマスクを予測することで、遮蔽の推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 検出ベースの深層学習フレームワークは、1枚の RGB イメージからピecewise 平面構造を検出し再構築する際、従来のセグメンテーションベース手法を上回ることができるか？
• RQ2 共同でのセグメンテーション微調整は、独立したマスク予測と比較して、検出された平面領域の一体性と正確性をどの程度向上させるか？
• RQ3 ワーピング損失により隣接する視点との整合性を強制することで、平面パラメータと深度マップの幾何的正確性はどの程度向上するか？
• RQ4 屋内スキャンでトレーニングされたモデルは、微調整なしで、未学習のシーンタイプ（例：屋外シーン）に適応できるか？
• RQ5 遮蔽された表面の再構築を含めることで、ビューサイザーとシーン補完タスクの品質はどの程度向上するか？

主な発見

• PlaneRCNN は、平均1枚あたり14.7平面を含む新しいベンチマークで最先端の性能を達成し、従来のベンチマーク（平均6平面）と比べて顕著に高い水準に達している。
• PlaneNet や PlaneRecover よりも、平面検出、セグメンテーション、再構築の指標で大幅に優れており、平面検出の F1 スコアで最大 0.405 の向上を達成している。
• セグメンテーション微調整ネットワークにより、隣接する平面間のギャップが減少し、マスクの一貫性が向上し、断片化が軽減された。
• ワーピング損失モジュールは、特に曖昧または模様のない領域で、平面パラメータと深度マップの幾何的誤差をマルチビューの一貫性を活用して是正している。
• 遮蔽の推論を組み込んだ変更版 PlaneRCNN は、家具の背後に隠れた床などの見えない表面を的確に推定でき、アーチファクトのないビューサイザーとレイヤード深度マップモデリングを可能にした。
• PlaneRCNN は、微調整なしで NYUv2、KITTI、SYNTHIA、Tank and Temple などの未学習データセットにも良好に一般化でき、強力なゼロショット一般化能力を示している。