[논문 리뷰] Uncertainty Estimates and Multi-Hypotheses Networks for Optical Flow

Eddy Ilg, Özgün Çiçek외 5명|arXiv (Cornell University)|2018. 02. 20.

Advanced Vision and Imaging참고 문헌 21인용 수 10

한 줄 요약

이 논문은 승자독점 손실(Winner-Takes-All loss)을 사용하는 다중가설 네트워크를 통해 유 flow 필드와 그 불확실성을 동시에 예측하는 새로운 딥러닝 프레임워크를 제안한다. 실시간 추론 속도를 유지하면서도 최신 기술 수준의 불확실성 추정 정확도를 달성하여, 앙상블 기반 및 에너지 기반 방법을 모두 초월한다. 정량적 지표와 정성적 신뢰성 평가에서 모두 뛰어난 성능을 보였다.

ABSTRACT

Optical flow estimation can be formulated as an end-to-end supervised learning problem, which yields estimates with a superior accuracy-runtime tradeoff compared to alternative methodology. In this paper, we make such networks estimate their local uncertainty about the correctness of their prediction, which is vital information when building decisions on top of the estimations. For the first time we compare several strategies and techniques to estimate uncertainty in a large-scale computer vision task like optical flow estimation. Moreover, we introduce a new network architecture utilizing the Winner-Takes-All loss and show that this can provide complementary hypotheses and uncertainty estimates efficiently with a single forward pass and without the need for sampling or ensembles. Finally, we demonstrate the quality of the different uncertainty estimates, which is clearly above previous confidence measures on optical flow and allows for interactive frame rates.

연구 동기 및 목표

• 딥 광학 유속 네트워크에서의 불확실성 추정 부족 문제를 해결하여 실세계 적용에 대한 신뢰도를 높이기 위해.
• 대규모 광학 유속 작업에서 여러 불확실성 추정 전략—경험적 앙상블, 예측 모델, 예측 앙상블—을 평가하고 비교하기 위해.
• 샘플링이나 앙상블 없이도 효율적으로 다수의 가설과 불확실성 추정치를 생성할 수 있는 단일 네트워크 아키텍처를 개발하기 위해.
• 자율 주행과 같은 안전이 중요한 응용 분야에서 신뢰할 수 있는 실시간 광학 유속 추론을 가능하게 하기 위해 신뢰도 측정치를 제공하기 위해.

제안 방법

• 다중 헤드 네트워크 아키텍처를 사용하며, 이는 [31]의 영감을 받은 것으로, 한 번의 순방향 전파 내에서 병렬로 여러 유속 가설을 예측한다.
• 승자독점(Winner-Takes-All, WTA) 손실을 사용하여 유일한 예측을 장려하고, 높은 점수를 받은 가설만을 벌점함으로써 다양한 예측을 유도한다.
• 다중 가설을 융합하고 최종 불확실성 추정치를 산출하기 위해 두 번째 네트워크 헤드를 도입함으로써 정확도와 보정 능력을 향상시켰다.
• 다양한 불확실성 추정 기법을 평가: MC 드롭아웃, 부트스트랩 앙상블, 스퍼플릿 앙상블. 그 중 부트스트랩 앙상블이 가장 뛰어난 성능을 보였다.
• 이중 단계 학습 스케줄을 사용하여 학습: 먼저 FlyingChairs와 FlyingThings3D에서 사전학습한 후, KITTI 2012+2015에서 미세조정한다.
• 불확실성의 대리 지표로 라플라스 분포 엔트로피를 사용하며, 평가를 위해 진짜 오차를 사용해 오라클 엔트로피를 계산한다.

실험 결과

연구 질문

• RQ1 고해상도 광학 유속 네트워크에서 경험적 앙상블, 예측 모델, 예측 앙상블 중 어떤 불확실성 추정 전략이 가장 우수한가?
• RQ2 샘플링이나 앙상블 없이도 단일 딥 네트워크가 다수의 타당한 유속 가설과 관련된 불확실성 추정치를 생성할 수 있는가?
• RQ3 제안된 다중가설 네트워크와 WTA 손실이 실시간 추론를 유지하면서도 최신 기술 수준의 방법보다 더 나은 불확실성 보정 성능을 달성하는가?
• RQ4 Sintel과 KITTI와 같은 다양한 데이터셋에서 불확실성 추정 성능이 실제 유속 예측 오차와 어떻게 상관관계가 있는가?

주요 결과

• 제안된 FlowNetH-Pred-Merged 모델은 KITTI 데이터셋에서 AUSE와 EPE 모두에서 최신 기술 수준의 에너지 기반 방법인 ProbFlow를 능가하는 뛰어난 불확실성 추정 성능을 달성하였다.
• 평가된 방법들 중에서 부트스트랩 앙상블이 가장 우수한 불확실성 추정치를 제공하였으며, MC 드롭아웃과 스퍼플릿 앙상블을 크게 앞서갔다.
• WTA 손실을 사용하는 다중가설 네트워크는 경험적 앙상블보다 더 정확한 불확실성 추정치를 생성하였으며, 동시에 인터랙티브 프레임 레이트를 확보하였다.
• 스택드 리패닝 네트워크를 통해 유속 예측 성능을 향상시켜도 불확실성 추정은 여전히 신뢰할 수 있었으며, 다양한 모델 아키텍처 간의 강건성을 보였다.
• 정성적 결과에서는 불확실성 맵이 움직임 경계나 가림 영역과 같이 신뢰할 수 없는 영역을 정확히 식별하는 반면, 정적 배경과 잘 움직이는 영역에서는 높은 신뢰도를 유지하였다.
• ProbFlow에 비해 AUSE(불확실성 곡선 아래 면적)에서 큰 격차를 확보하여, 불확실성 추정치가 보다 잘 보정되어 있고, 스parser화와 같은 후속 작업에 더 정보가 풍부하다는 것을 입증하였다.