[論文レビュー] DeepPerimeter: Indoor Boundary Estimation from Posed Monocular Sequences

Ameya Phalak, Zhao Chen+4 more|arXiv (Cornell University)|Apr 25, 2019

Advanced Vision and Imaging参考文献 52被引用数 9

ひとこと要約

DeepPerimeterは、一連の姿勢付き単眼RGB画像から、メトリックスケールのインDoor外壁レイアウト（周囲境界）を推定するディーブラーニングパイプラインを提案する。マルチビュー深度推定、セマンティックな壁セグメンテーション、および新規のディープ教師なしクラスタリングネットワーク（ClusterNet）を組み合わせることで、LiDARや事前に定義された部屋形状を必要とせず、正確な平面的周囲境界マップを生成する。この手法は、ScanNetおよびFloorNetベンチマークで優れた性能を達成した。

ABSTRACT

We present DeepPerimeter, a deep learning based pipeline for inferring a full indoor perimeter (i.e. exterior boundary map) from a sequence of posed RGB images. Our method relies on robust deep methods for depth estimation and wall segmentation to generate an exterior boundary point cloud, and then uses deep unsupervised clustering to fit wall planes to obtain a final boundary map of the room. We demonstrate that DeepPerimeter results in excellent visual and quantitative performance on the popular ScanNet and FloorNet datasets and works for room shapes of various complexities as well as in multiroom scenarios. We also establish important baselines for future work on indoor perimeter estimation, topics which will become increasingly prevalent as application areas like augmented reality and robotics become more significant.

研究の動機と目的

• 標準化されていないインDoorレイアウト推定の課題に対処するため、実用的で広く利用可能な入力モodalitiy（姿勢付き単眼動画）を提案すること。
• 一般的なセンサデータから、インDoor空間の完全な3次元周囲境界を推定する、堅牢でエンドツーエンドの手法を開発すること。
• 高価なLiDARスキャンや事前に定義された部屋形状の列挙に依存しないこと。
• 拡張応用（例：拡張現実やロボットナビゲーション）の基盤を提供するため、幾何学的に意味のある部屋の骨格を提供すること。
• 完全なシーン理解への重要なステップとして、インDoor周囲境界推定のための新規ベンチマークを確立すること。

提案手法

• パイプラインは、姿勢付きRGBシーケンスを用いたマルチビューステレオベースの深度推定から始まり、単一画像の単眼深度推定よりも精度が向上する。
• ディープセマンティックセグメンテーションネットワークが、推定された深度マップからの壁ポイントを分離する。
• 壁ポイントが3次元空間に投影され、点群を形成する。その後、合成データで訓練された新規のディープ教師なしクラスタリングネットワーク（ClusterNet）を用いてクラスタリングされる。
• ClusterNetは、同じ壁平面に属する点をグループ化するように学習することで、長距離の平面領域を検出することを最適化されている。
• 得られたクラスタは平面境界に変換され、最終的な周囲境界マップが生成される。
• 本手法は、非壁ポイントをフィルタリングするセマンティックセグメンテーションと、内部壁を除去するアルファカリングという2つの主要モジュールを組み込んでいる。

実験結果

リサーチクエスチョン

• RQ1 一連の姿勢付き単眼RGB画像からのみ、メトリックスケールのインDoor周囲境界を正確に推定できるか？
• RQ2 LiDARや事前に定義された部屋タイプに依存する既存のレイアウト推定手法と比較して、本手法はどのように性能を発揮するか？
• RQ3 マルチビュー深度推定と教師なしクラスタリングを用いることで、部分的遮蔽や複雑な部屋形状に対するロバストネスがどの程度向上するか？
• RQ4 教師なし平面ラベルなしで、3次元壁ポイントを一貫した平面領域にグループ化するための提案手法ClusterNetの有効性はいかほどか？
• RQ5 アーキテクチャ的仮定（例：マンハッタンジオメトリ）やハイパーパrameter（例：マージしきい値）が、最終的な周囲境界の正確性に与える影響は何か？

主な発見

• セマンティックセグメンテーションとアルファカリングを両方使用した場合、DeepPerimeterはScanNetデータセットで2次元IoUが0.760を達成し、アブレーションバリアントを上回った。
• セマンティックセグメンテーションの導入により、コーナーエラーは0.611mから0.591mに、誤検出コーナーは100個の正例あたり0.480%から0.359%に減少した。
• アルファカリングを削除すると、誤検出コーナーは100個の正例あたり0.856%に増加し、内部壁の点が誤って含められることで誤ったレイアウトが生成された。
• 本手法は多様な部屋形状や複数部屋構成のシナリオにおいても強固な性能を維持しており、単純な幾何形状を超えた一般化能力を示した。
• アブレーションスタディにより、誤検出の最小化とコーナー局所化精度の向上の両方にとって、セマンティックセグメンテーションとアルファカリングが不可欠であることが確認された。
• 本手法は、コーナーやエッジの遮蔽に対してもロバストである。これは、孤立したコーナーを検出するのではなく、壁平面全体をクラスタリングすることに依存しているためである。