[論文レビュー] Uncertainty Estimates for Optical Flow with Multi-Hypotheses Networks

Eddy Ilg, Özgün Çiçek+5 more|arXiv (Cornell University)|Feb 20, 2018

Advanced Vision and Imaging参考文献 16被引用数 8

ひとこと要約

本稿では、アンサンブルやサンプリングを必要とせず、1回の順伝播で正確な不確実性推定を生成する、光学フロー推定のための新規なマルチハイポセシスネットワークアーキテクチャを提案する。大規模ベンチマークにおいて、先行する信頼性措置を上回る高品質でインタラクティブレートの不確実性予測を実現する。

ABSTRACT

Recent work has shown that optical flow estimation can be formulated as an end-to-end supervised learning problem, which yields estimates with a superior accuracy-runtime tradeoff compared to alternative methodology. In this paper, we make the network estimate its local uncertainty about the correctness of its prediction, which is vital information when building decisions on top of the estimated optical flow. For the first time we compare several strategies and techniques to estimate uncertainty in a large-scale computer vision task like optical flow estimation. Moreover, we introduce a new network architecture that enforces complementary hypotheses and provides uncertainty estimates efficiently within a single forward pass without the need for sampling or ensembles. We demonstrate high-quality uncertainty estimates that clearly improve over previous confidence measures on optical flow and allow for interactive frame rates.

研究の動機と目的

• 深層光学フローネットワークにおける信頼性の高い不確実性推定の欠如に取り組むこと。これは、後続の意思決定において極めて重要である。
• 複数回の順伝播やモデルアンサンブルを必要とせず、局所的な不確実性を効率的に推定する手法を開発すること。
• 大規模光学フロー推定の文脈において、複数の不確実性推定戦略を比較・評価すること。
• 不確実性のキャリブレーションを向上させるために、自然に補完的なフローヒポセシスを生成するネットワークアーキテクチャを設計すること。

提案手法

• 1回の順伝播内で並列に複数のフローパredictionを生成するマルチハイポセシスネットワークアーキテクチャを提案する。
• 共有バックボーンとスプリットヘッドを用いて、多様でありながら補完的なフローヒポセシスを生成する。
• ヒポセシスが多様でありつつも妥当なままであるように、一貫性損失を適用する。
• 微分可能測度を用いて、ヒポセシス間の不一致から不確実性を推定する。
• フローロスと不確実性キャリブレーションの目的関数を組み合わせて、エンドツーエンドでネットワークを訓練する。
• 信頼性の高い信頼スコアを向上させるために、新規な不確実性に配慮した訓練目的関数を導入する。

実験結果

リサーチクエスチョン

• RQ1 推論コストの増加を伴わずに、深層光学フローネットワークにおける不確実性を効果的に推定する方法は何か？
• RQ2 大規模光学フロータスクにおいて、どの不確実性推定戦略が最も優れているか？
• RQ3 1回の順伝播で、正確なフローパレディクションと信頼性の高い不確実性推定を両立させられるか？
• RQ4 ヒポセシスの多様性は、不確実性の質とフローアクチュアルの精度にどのように影響するか？

主な発見

• 提案手法は、標準ベンチマークにおいて、先行する信頼性措置を上回る最先端の不確実性推定品質を達成する。
• 不確実性推定は適切にキャリブレーションされており、正しい予測と誤った予測を明確に区別できる。
• ネットワークはインタラクティブレートで不確実性マップを生成でき、リアルタイムアプリケーションに適している。
• マルチハイポセシスアーキテクチャにより、サンプリングやアンサンブルを用いずに高品質な不確実性推定が可能になった。