[논문 리뷰] Uncertainty Estimates for Optical Flow with Multi-Hypotheses Networks

Eddy Ilg, Özgün Çiçek외 5명|arXiv (Cornell University)|2018. 02. 20.

Advanced Vision and Imaging참고 문헌 16인용 수 8

한 줄 요약

이 논문은 단일 순방향 전파 내에서 정확한 불확실성 추정을 제공하는 새로운 다중가설 네트워크 아키텍처를 제안하며, 앙상블 또는 샘플링이 필요 없게 한다. 이는 대규모 벤치마크에서 빠른 속도로 고품질의 상호작용 레이트 불확실성 예측을 제공함으로써 이전의 신뢰도 측정 방법을 능가한다.

ABSTRACT

Recent work has shown that optical flow estimation can be formulated as an end-to-end supervised learning problem, which yields estimates with a superior accuracy-runtime tradeoff compared to alternative methodology. In this paper, we make the network estimate its local uncertainty about the correctness of its prediction, which is vital information when building decisions on top of the estimated optical flow. For the first time we compare several strategies and techniques to estimate uncertainty in a large-scale computer vision task like optical flow estimation. Moreover, we introduce a new network architecture that enforces complementary hypotheses and provides uncertainty estimates efficiently within a single forward pass without the need for sampling or ensembles. We demonstrate high-quality uncertainty estimates that clearly improve over previous confidence measures on optical flow and allow for interactive frame rates.

연구 동기 및 목표

• 딥 광학 흐름 네트워크에서 신뢰할 수 있는 불확실성 추정의 부족을 해결하는 것. 이는 후속 결정 수립에 매우 중요하다.
• 다중 순방향 전파 또는 모델 앙상블이 필요 없이 효율적으로 局부 불확실성 추정을 수행하는 방법을 개발하는 것.
• 대규모 광학 흐름 추정의 맥락에서 여러 불확실성 추정 전략을 비교하고 평가하는 것.
• 자연스럽게 보완적인 흐름 가설을 생성하여 불확실성 校정을 향상시키는 네트워크 아키텍처를 설계하는 것.

제안 방법

• 단일 순방향 전파 내에서 병렬적으로 다수의 흐름 예측을 생성하는 다중가설 네트워크 아키텍처를 제안한다.
• 공유 백본과 분할 헤드를 사용하여 다양하면서도 상호 보완적인 흐름 가설을 생성한다.
• 가설 간의 다양성을 장려하면서도 타당성을 유지하도록 일致성 손실을 적용한다.
• 가환성에 기반한 미분 가능한 측정법을 사용해 가설 간의 불일치에서 불확실성 추정을 수행한다.
• 흐름 손실과 불확실성 校정 목표를 조합하여 네트워크를 엔드 투 엔드로 훈련시킨다.
• 신뢰도 점수의 신뢰성을 향상시키기 위해 새로운 불확실성 인식 훈련 목표를 도입한다.

실험 결과

연구 질문

• RQ1 추론 비용을 증가시키지 않고 딥 광학 흐름 네트워크에서 불확실성을 효과적으로 추정할 수 있는 방법은 무엇인가?
• RQ2 대규모 광학 흐름 작업에서 어떤 불확실성 추정 전략이 가장 우수한 성능을 보이는가?
• RQ3 단일 순방향 전파로 정확한 흐름 예측과 신뢰할 수 있는 불확실성 추정을 동시에 생성할 수 있는가?
• RQ4 가설의 다양성이 불확실성 품질과 흐름 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 표준 벤치마크에서 최신 기술 수준의 불확실성 추정 품질을 달성하며, 이전의 신뢰도 측정 방법을 능가한다.
• 불확실성 추정은 잘 校정되어 있으며, 정확한 예측과 잘못된 예측을 명확히 구분한다.
• 네트워크는 상호작용 레이트로 불확실성 맵을 생성하여 실시간 응용이 가능하게 한다.
• 다중가설 아키텍처는 샘플링이나 앙상블 없이도 고품질의 불확실성 추정을 가능하게 한다.