[論文レビュー] GroundNet: Segmentation-Aware Monocular Ground Plane Estimation with Geometric Consistency.

Yunze Man, Xinshuo Weng+1 more|arXiv (Cornell University)|Nov 17, 2018

Robotics and Sensor-Based Localization参考文献 57被引用数 6

ひとこと要約

GroundNetは、表面の法線、2次元の地面セグメンテーション、深度を同時に予測するためのマルチタスク学習フレームワークを提案する。この手法では、法線推定用の2つの別々のストリームを用い、一貫性損失を介して幾何的整合性を強制することで、モノクローラルな地面平面推定を実現する。モデルはKITTIおよびApolloScapeデータセットにおいて、地面平面の法線推定と水平線検出で最先端の性能を達成した。

ABSTRACT

We focus on the problem of estimating the orientation of the ground plane with respect to a mobile monocular camera platform (e.g., ground robot, wearable camera, assistive robotic platform). To address this problem, we formulate the ground plane estimation problem as an inter-mingled multi-task prediction problem by jointly optimizing for point-wise surface normal direction, 2D ground segmentation, and depth estimates. Our proposed model -- GroundNet -- estimates the ground normal in two streams separately and then a consistency loss is applied on top of the two streams to enforce geometric consistency. A semantic segmentation stream is used to isolate the ground regions and are used to selectively back-propagate parameter updates only through the ground regions in the image. Our experiments on KITTI and ApolloScape datasets verify that the GroundNet is able to predict consistent depth and normal within the ground region. It also achieves top performance on ground plane normal estimation and horizon line detection.

研究の動機と目的

• 地面ロボットやウェアラブルデバイスなどのモバイルモノクローラルカメラプラットフォームにおける地面平面の姿勢推定を改善すること。
• 非地面領域における深度と法線予測の不整合を解消するために、幾何的整合性を強制すること。
• セマンティックセグメンテーションストリームを用いて地面と特定された領域にのみ勾配を逆伝播させるようにすることで、推定精度を向上させること。
• 地面平面の法線推定および水平線検出において、最先端の性能を達成すること。
• マルチタスク学習フレームワークを用いて、地面平面全体にわたる深度と法線予測の堅牢性と一貫性を確保すること。

提案手法

• GroundNetは、表面の法線予測、2次元の地面セグメンテーション、深度推定を統合したマルチタスク学習問題として地面平面推定を定式化する。
• 2つの別々のストリームを用いて表面の法線を予測し、空間的整合性を確保するために幾何的整合性損失を介してそれらを一致させる。
• セマンティックセグメンテーションストリームにより地面領域を特定し、バックプロパゲーションをこれらの領域に制限することで、学習効率と局所化精度を向上させる。
• 一貫性損失により、2つの法線予測ストリーム間の整合性が強制され、地面平面全体にわたる幾何的妥当性が保証される。
• モデルは、モノクローラルRGB画像上でエンドツーエンドの学習により、法線、深度、セグメンテーションの3つのタスクを同時に最適化する。
• 学習はKITTIおよびApolloScapeデータセット上で実施され、真値の法線、深度、セマンティックラベルによる教師あり学習が行われる。

実験結果

リサーチクエスチョン

• RQ1 マルチタスク学習フレームワークは、モノクローラルな地面平面法線推定の整合性と精度を向上させることができるか？
• RQ2 2つの法線予測ストリーム間の幾何的整合性を強制することで、推定品質にどのような影響を与えるか？
• RQ3 地面と特定された領域にのみ勾配を逆伝播させる手法が、モデルの性能にどの程度寄与するか？
• RQ4 深度とセグメンテーションの同時予測は、地面平面における法線推定を向上させることができるか？
• RQ5 GroundNetは、地面平面法線推定および水平線検出において、最先端の手法と比較してどの程度優れているか？

主な発見

• GroundNetは、KITTIおよびApolloScapeデータセットの両方で、地面平面の法線推定において最先端の性能を達成した。
• 幾何的整合性損失による検証により、地面領域内での深度と法線予測が一貫していることが確認された。
• セマンティックセグメンテーションストリームの活用により、選択的勾配更新が可能となり、地面領域における学習効率と局所化精度が向上した。
• 幾何的整合性損失は、地面平面全体にわたる予測された法線の空間的整合性を顕著に向上させた。
• GroundNetは水平線検出においても優れた性能を示し、地面平面の姿勢推定が正確に行われていることを示している。
• 法線、深度、セグメンテーションの共同最適化により、単一タスクベースラインと比較して、より堅牢で信頼性の高い予測が得られた。