[논문 리뷰] UnFlow: Unsupervised Learning of Optical Flow with a Bidirectional Census Loss

Simon Meister, Junhwa Hur외 1명|arXiv (Cornell University)|2017. 11. 21.

Advanced Vision and Imaging인용 수 4

한 줄 요약

이 논문은 합성 또는 실제 지도 데이터에 의존하지 않고 이중 방향 센서스 손실을 사용하는 비지도 딥 러닝 방법인 UnFlow을 제안한다. 겹침을 고려한 이중 방향 유속 추정과 강력한 센서스 변환을 조합함으로써 UnFlow는 KITTI 벤치마크에서 기존 비지도 방법과 합성 데이터로만 훈련된 지도 모델을 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

In the era of end-to-end deep learning, many advances in computer vision are driven by large amounts of labeled data. In the optical flow setting, however, obtaining dense per-pixel ground truth for real scenes is difficult and thus such data is rare. Therefore, recent end-to-end convolutional networks for optical flow rely on synthetic datasets for supervision, but the domain mismatch between training and test scenarios continues to be a challenge. Inspired by classical energy-based optical flow methods, we design an unsupervised loss based on occlusion-aware bidirectional flow estimation and the robust census transform to circumvent the need for ground truth flow. On the KITTI benchmarks, our unsupervised approach outperforms previous unsupervised deep networks by a large margin, and is even more accurate than similar supervised methods trained on synthetic datasets alone. By optionally fine-tuning on the KITTI training data, our method achieves competitive optical flow accuracy on the KITTI 2012 and 2015 benchmarks, thus in addition enabling generic pre-training of supervised networks for datasets with limited amounts of ground truth.

연구 동기 및 목표

• 유속 추정에서 합성 훈련 데이터와 실제 시험 환경 사이의 도메인 갭을 해결하기 위해.
• 지도된 유속 애너테이션 없이도 실제 이미지 시퀀스에서 효과적인 훈련을 가능하게 하는 비지도 손실 함수를 개발하기 위해.
• 이중 방향 유속 추정과 센서스 변환을 통해 실제 이미지의 겹침과 밝기 변화에 대한 강건성을 향상시키기 위해.
• 대규모 실제 데이터셋에서 사전 훈련을 가능하게 하고, 제한된 실제 애너테이션을 사용한 미세조정을 통해 최신 기술 성능을 달성하기 위해.
• 실제 데이터에서의 비지도 훈련이 합성 데이터에서의 지도 훈련을 능가할 수 있음을 실세계 벤치마크에서 입증하기 위해.

제안 방법

• 이중 방향 유속 추정 설정을 제안하여, 네트워크가 교환된 이미지 쌍을 사용해 정방향 및 역방향 유속을 모두 계산한다.
• 광학적 재구성 오차와 센서스 변환을 조합한 새로운 비지도 손실을 도입하여 밝기 변화에 대한 강건성을 향상시킨다.
• 정방향 및 역방향 유속 예측 간의 일관성을 활용하여 겹침 인식을 수행한다.
• 유속 필드의 노이즈를 줄이고 정규화하기 위해 고차수 스무딩 항목을 도입한다.
• 다중 해상도 아키텍처를 사용하여 다양한 운동 스케일에서의 정확성과 일반화 능력을 향상시킨다.
• 희소 KITTI 지도 데이터를 사용한 선택적 미세조정을 가능하게 하여 도전적인 영역에서 성능을 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 방향 유속과 센서스 변환에 기반한 비지도 손실이 실세계 벤치마크에서 기존 비지도 유속 추정 방법을 능가할 수 있는가?
• RQ2 실세계 이미지 시퀀스에서의 비지도 훈련이 실세계 성능에서 합성 데이터셋에서의 지도 훈련을 능가하는가?
• RQ3 제안된 손실이 지도 데이터 없이도 대규모 실세계 데이터셋에서 효과적인 사전 훈련을 가능하게 하고, 제한된 애너테이션을 사용한 미세조정을 지원할 수 있는가?
• RQ4 이중 방향 유속을 통한 겹침 인식의 포함이 실세계 장면에서의 강건성을 어떻게 향상시키는가?
• RQ5 센서스 변환이 밝기 변화와 실세계 이미지 왜곡 상황에서 성능을 얼마나 향상시키는가?

주요 결과

• SYNTHIA와 KITTI에서만 훈련된 순수 비지도 모델인 UnFlow-C는 KITTI 2012 및 2015에서 이전 비지도 딥 네트워크를 모두 능가하며, 이전 비지도 방법 대비 종단 오차를 절반 이하로 줄였다.
• UnFlow-C는 합성 데이터로만 훈련된 지도 모델인 FlowNetS와 FlowNetC보다 더 높은 정확도를 달성하여 실제 도메인 훈련의 이점을 입증했다.
• 미세조정된 UnFlow-CS-ft 및 UnFlow-CSS-ft 모델은 더 복잡한 지도 모델인 FlowNet2-ft-kitti와 경쟁 가능한 성능을 보였으며, 특수 훈련 스케줄이나 보조 네트워크 없이도 가능했다.
• KITTI 데이터 없이 Cityscapes에서만 훈련된 UnFlow-C-Cityscapes는 UnsupFlownet 및 DSTFlow를 능가하여 도메인 간 일반화 능력이 뛰어나다는 것을 보여주었다.
• Middlebury 벤치마크에서 UnFlow-C와 UnFlow-C-Cityscapes는 지도 모델인 FlowNetS를 능가했으며, 주행 도메인 외부로도 강력한 전이 능력을 보였다.
• Sintel에서 UnFlow-C는 DSTFlow를 능가했으며, 이는 손실 함수의 강건성과 합성 데이터에 대해 명시적으로 훈련되지 않은 상황에서도 성능 향상이 가능함을 시사한다.