[論文レビュー] Robustness Meets Deep Learning: An End-to-End Hybrid Pipeline for Unsupervised Learning of Egomotion

Alex Zihao Zhu, Wenxin Liu+3 more|arXiv (Cornell University)|Dec 20, 2018

Advanced Vision and Imaging参考文献 33被引用数 14

ひとこと要約

本論文は、深層学習と幾何最適化を組み合わせたエンドツーエンドで教師なしのハイブリッドパイプラインを提案し、モノクロナル egomotion を頑健に推定する。神経ネットワークが予測した光流および視差に RANSAC を適用し、同一直線上の対応点を抽出することで、カメラの姿勢を推定し、写真的一致損失を用いた精練を施す。KITTII において最先端の性能を達成し、独立して動く物体やテクスチャの欠落した領域に対しても頑健性が向上した。

ABSTRACT

In this work, we propose a method that combines unsupervised deep learning predictions for optical flow and monocular disparity with a model based optimization procedure for instantaneous camera pose. Given the flow and disparity predictions from the network, we apply a RANSAC outlier rejection scheme to find an inlier set of flows and disparities, which we use to solve for the relative camera pose in a least squares fashion. We show that this pipeline is fully differentiable, allowing us to combine the pose with the network outputs as an additional unsupervised training loss to further refine the predicted flows and disparities. This method not only allows us to directly regress relative pose from the network outputs, but also automatically segments away pixels that do not fit the rigid scene assumptions that many unsupervised structure from motion methods apply, such as on independently moving objects. We evaluate our method on the KITTI dataset, and demonstrate state of the art results, even in the presence of challenging independently moving objects.

研究の動機と目的

• 独立して動く物体などの条件下で、エンドツーエンドの深層学習ベースの egomotion 推定における頑健性と安全性の欠如を是正すること。
• CNN からの直接的な姿勢回帰の限界を克服すること。これは幾何的保証がなく、外れ値に対処しづらい。
• 幾何最適化（RANSAC）を教師なし学習フレームワークに統合し、ラベル付きの姿勢データを一切不要としながら、精度と頑健性を向上させること。
• 明示的なマスク学習ではなく、幾何的一致性を用いて非剛性のシーン要因（例：動く車両、影）を自動で分離すること。

提案手法

• パイプラインは、時間的画像ペアから光流を予測する2つの完全畳み込みネットワークと、ステレオペアから単眼視差を予測する2つの完全畳み込みネットワークを用いる。
• 予測された光流および視差マップに RANSAC を適用し、剛体運動モデルに最も適合する同一直線上の対応点を同定することで、カメラ速度および回転速度の頑健な推定が可能になる。
• 推定された姿勢を用いて、剛体運動モデルに基づき合成された歪み補正画像を生成し、予測された光流・視差とその間の写真的一致損失を可能にする。
• 予測された光流から姿勢と視差を推定し、逆に姿勢と視差から光流を推定するという新しい精練損失を導入。写真的一致損失は RANSAC で選択された同一直線上のピクセルにのみ適用する。
• 全パイプラインが完全に微分可能であり、トレーニング中に姿勢推定値を逆伝播させ、光流および視差ネットワークの精練が可能になる。
• RANSAC による同一直線上のマスクを写真的一致損失のマスクとして用いることで、幾何的に整合性のある予測のみが監視される。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習に比べ、深層学習と幾何最適化を組み合わせたハイブリッドパイプラインは、教師なし egomotion 推定における頑健性を向上させることができるか？
• RQ2 明示的なセグメンテーションなしに、RANSAC を用いた外れ値除外は、独立して動く物体やテクスチャの欠落した領域をどれほど効果的に特定・除外できるか？
• RQ3 姿勢とクロスマダリティの一貫性に基づく精練写真的一致損失は、光流および視差予測の精度をどの程度向上させるか？
• RQ4 RANSAC による同一直線上のピクセル選択が、ネットワークの予測がノイズを含んでも、優れたモデルと同等の性能を達成できるか？
• RQ5 提案手法は、より小さいネットワークアーキテクチャを用いても、KITTII で最先端の性能を達成できるか？

主な発見

• 本手法は KITTII Flow 2015 ベンチマークで最先端の性能を達成し、エンドツーエンドの光流誤差（EPE）は 10.66、同一直線上の正確度は 45.84% に達し、先行する教師なし手法を上回った。
• 精練損失が性能向上に顕著に寄与している：損失を除去すると EPE は 10.66 から 11.80 に上昇し、その有効性が示された。
• RANSAC は著しく低い誤差を持つ同一直線上の点を選択している — 同一直線上の EPE は 3.21（全体の 10.66 と比較）であり、高品質な予測を効果的に分離していることが示された。
• RANSAC による同一直線上のマスクは、ネットワークがこれらの領域で困難を示しても、独立して動く物体、影、空、植生を効果的に除去した。
• KITTII ステレオ 2015 では、全ピクセルでの深度 RMSE が 12.63 であったが、RANSAC 同一直線上では 8.00 にまで低下し、優れた同一直線上の品質を示した。
• アブレーションスタディにより、RANSAC による同一直線上のピクセル選択と精練損失の両方が不可欠であることが確認された。両方の要素を除去すると、性能が著しく低下した。