[論文レビュー] Uncertainty Estimates and Multi-Hypotheses Networks for Optical Flow

Eddy Ilg, Özgün Çiçek+5 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Vision and Imaging参考文献 21被引用数 10

ひとこと要約

本稿では、WTA損失を用いたマルチハイポセシスネットワークを用いて、同時に流れ場とその不確実性を予測する、光学フロー推定のための新規な深層学習フレームワークを提案する。実時間推論速度を維持しながら、最先端の不確実性推定精度を達成し、アンサンブルベースおよびエネルギーベースの手法を定量的指標および定性的な信頼性評価の両面で上回る。

ABSTRACT

Optical flow estimation can be formulated as an end-to-end supervised learning problem, which yields estimates with a superior accuracy-runtime tradeoff compared to alternative methodology. In this paper, we make such networks estimate their local uncertainty about the correctness of their prediction, which is vital information when building decisions on top of the estimations. For the first time we compare several strategies and techniques to estimate uncertainty in a large-scale computer vision task like optical flow estimation. Moreover, we introduce a new network architecture utilizing the Winner-Takes-All loss and show that this can provide complementary hypotheses and uncertainty estimates efficiently with a single forward pass and without the need for sampling or ensembles. Finally, we demonstrate the quality of the different uncertainty estimates, which is clearly above previous confidence measures on optical flow and allows for interactive frame rates.

研究の動機と目的

• 深層光学フローネットワークにおける不確実性推定の欠如が、実世界への導入における信頼性を制限するという問題に対処すること。
• 大規模な光学フロータスクにおいて、経験的アンサンブル、予測モデル、予測アンサンブルの複数の不確実性推定戦略を評価・比較すること。
• サンプリングやアンサンブルを用いずに、1つのネットワークアーキテクチャで複数の仮説と不確実性推定を効率的に生成すること。
• 自律走行などの安全が重要な応用分野における、信頼性の高いリアルタイム光学フロー推論を可能にすること。

提案手法

• 複数の流れ仮説を1回の順伝播で並列に予測するマルチヘッドネットワークアーキテクチャを採用。[31]を参考にした。
• WTA（Winner-Takes-All）損失を用い、最もスコアの高い仮説にのみペナルティを与えることで、多様な予測を促進し、複数の妥当なフローの探索を促進する。
• 複数の仮説を統合し、最終的な不確実性を推定するための第2のネットワークヘッドを導入。これにより、耐障害性とキャリブレーション性能が向上する。
• 複数の不確実性推定手法を評価：MCドロップアウト、ブートストラップアンサンブル、スナップショットアンサンブル。その中でブートストラップアンサンブルが最も優れた性能を示した。
• 2段階のスケジュールでモデルを訓練：まずFlyingChairsおよびFlyingThings3Dで事前学習し、その後KITTI 2012+2015でファインチューニング。
• 不確実性の代理指標としてラプラス分布エントロピーを用い、評価のためのオラクルエントロピーは真値誤差を用いて計算。

実験結果

リサーチクエスチョン

• RQ1 高解像度光学フローネットワークにおいて、経験的アンサンブル、予測モデル、予測アンサンブルのうち、どの不確実性推定戦略が最も優れているか？
• RQ2 サンプリングやアンサンブルを用いずに、1つのディープネットワークが複数の妥当な流れ仮説と関連する不確実性推定を生成できるか？
• RQ3 提案されたマルチハイポセシスネットワークにWTA損失を適用した場合、最先端の手法と比較して不確実性のキャリブレーションが向上し、かつリアルタイム推論を維持できるか？
• RQ4 Sintel や KITTI などの多様なデータセットにおいて、不確実性推定の性能と実際のフローパラメータ誤差との相関関係はいかなるものか？

主な発見

• 提案されたFlowNetH-Pred-Mergedモデルは、KITTIデータセットにおいて、状態の最良のエネルギーベース手法であるProbFlowをAUC（不確実性曲線下の面積）とEPEの両面で上回る優れた不確実性推定を達成した。
• 評価された手法の中で、ブートストラップアンサンブルが最も優れた不確実性推定を示し、MCドロップアウトやスナップショットアンサンブルを著しく上回った。
• WTA損失を用いたマルチハイポセシスネットワークは、経験的アンサンブルよりも正確な不確実性推定を生成しつつ、インタラクティブなフレームレートを達成した。
• スタックドリファイメントネットワークによるフローパラメータの改善にもかかわらず、不確実性推定は信頼性を保ち続け、モデルアーキテクチャの変更に対しても頑健であることが示された。
• 定性的な結果から、不確実性マップは、動きの境界やオクルージョンといった信頼性の低い領域を正しく同定しており、静的背景や動的要因が明確な領域では高い信頼性を維持している。
• ProbFlowと比較して、AUSE（不確実性曲線下の面積）で大きな差を示した。これは、不確実性推定がキャリブレーションが良好であるだけでなく、スパarsificationなどの後続タスクに有用であることを示している。