[논문 리뷰] FlowNet: Learning Optical Flow with Convolutional Networks

Philipp Fischer, Alexey Dosovitskiy외 7명|arXiv (Cornell University)|2015. 04. 26.

Advanced Vision and Imaging참고 문헌 25인용 수 601

한 줄 요약

이 논문은 지도 학습을 사용하여 엔드 투 엔드 광학 흐름 추정을 위한 컨volution 신경망 아키텍처인 FlowNet을 제안한다. 두 가지 변종—FlowNetSimple와 FlowNetCorr—을 도입하며, 후자는 이미지 간 특징을 명시적으로 매칭하기 위해 상관층을 포함한다. 30만 장의 이미지 쌍으로 구성된 합성된 Flying Chairs 데이터셋에서 훈련된 네트워크는 Sintel과 KITTI와 같은 실세계 데이터셋으로 잘 일반화되어 있으며, 5–10 fps의 실시간 속도에서 최신 기술 수준의 정확도를 달성한다.

ABSTRACT

Convolutional neural networks (CNNs) have recently been very successful in a variety of computer vision tasks, especially on those linked to recognition. Optical flow estimation has not been among the tasks where CNNs were successful. In this paper we construct appropriate CNNs which are capable of solving the optical flow estimation problem as a supervised learning task. We propose and compare two architectures: a generic architecture and another one including a layer that correlates feature vectors at different image locations. Since existing ground truth data sets are not sufficiently large to train a CNN, we generate a synthetic Flying Chairs dataset. We show that networks trained on this unrealistic data still generalize very well to existing datasets such as Sintel and KITTI, achieving competitive accuracy at frame rates of 5 to 10 fps.

연구 동기 및 목표

• 딥 컨volution 신경망을 사용하여 광학 흐름 추정을 엔드 투 엔드로 학습할 수 있도록 하는 것.
• 정확한 픽셀 수준의 대응 매칭이 필요한 지도 학습 과제로서 광학 흐름 추정 문제를 다루는 것.
• 비현실적인 내용(예: 날아다니는 의자)을 가진 합성 데이터가 실세계 광학 흐름 벤치마크로 일반화될 수 있는지 조사하는 것.
• 특징 매칭을 위해 전용 상관층을 통합한 아키텍처와 표준 CNN 아키텍처의 성능을 비교하는 것.
• 훈련된 네트워크의 실시간 추론 능력과 다양한 실세계 데이터셋에서의 일반화 능력을 평가하는 것.

제안 방법

• FlowNetSimple(표준 인코더-디코더)와 FlowNetCorr(명시적 특징 매칭을 위한 상관층 포함)라는 두 가지 CNN 아키텍처를 제안한다.
• 계약형 인코더 경로를 통해 계층적 특징을 추출하고, 확장형 디코더 경로를 통해 흐름 예측을 정밀화한다.
• 두 입력 이미지 간 서로 다른 공간적 위치에 있는 특징 맵 간 유사도를 계산하는 상관층을 도입한다.
• 합성 데이터에서 엔드 투 엔드로 훈련하며, 지도 학습 손실(종단점 오차)을 사용한다.
• 랜덤 배경과 세그먼트 처리된 3D 의자 모델을 사용하여 대규모 합성 훈련 데이터를 생성하기 위해 Flying Chairs 데이터셋을 생성한다.
• 일반화 능력을 향상시키기 위해 데이터 증강(랜덤 크롭, 색상 왜곡, 플립)을 적용한다.

실험 결과

연구 질문

• RQ1 표준 CNN 아키텍처가 합성 데이터에서 훈련되었을 때 경쟁력 있는 정확도로 광학 흐름을 예측할 수 있는가?
• RQ2 전용 상관층을 포함시켰을 때 표준 CNN보다 광학 흐름 예측 성능이 향상되는가?
• RQ3 매우 비현실적인 합성 데이터(Flying Chairs)에서 훈련된 네트워크가 Sintel과 KITTI와 같은 실세계 광학 흐름 벤치마크로 얼마나 잘 일반화되는가?
• RQ4 정확도와 추론 속도 측면에서 FlowNet의 성능이 최신 비학습 기반 및 학습 기반 광학 흐름 방법과 비교해 어떻게 되는가?
• RQ5 예측된 흐름 필드에 대해 변분 정밀화가 성능 향상에 기여하는가, 아니면 네트워크가 이미 최적의 흐름 표현을 학습하고 있는가?

주요 결과

• FlowNetCorr는 Sintel 및 KITTI 벤치마크에서 실시간 광학 흐름 방법 중 최신 기술 수준의 정확도를 달성했으며, Sintel Final에서 종단점 오차(EPE)가 3.15 px이다.
• Flying Chairs 데이터셋에서 훈련된 네트워크는 실세계 장면으로 잘 일반화되어 있으며, Flying Chairs 테스트 세트에서 DeepFlow 및 EpicFlow와 같은 방법들을 능가한다.
• 미세조정 없이도 FlowNet은 Sintel과 KITTI에서 경쟁력 있는 성능을 보였으며, 각각 EPE가 3.15 px와 5.25 px였다. 이는 강력한 제로샷 일반화 능력을 보여준다.
• FlowNetCorr의 상관층은 큰 이동 거리와 세밀한 디테일에서 성능 향상을 보였으며, EpicFlow와의 정성적 비교를 통해 이를 입증했다.
• FlowNetS는 Sintel에서 FlowNetC보다 더 잘 일반화되었지만, FlowNetC는 Flying Chairs와 Sintel Clean에서 더 뛰어난 성능을 보였으며, 이는 훈련 데이터에 약간의 과적합이 있음을 시사한다.
• 변분 정밀화는 Flying Chairs에서 성능을 떨어뜨렸으며, 이는 네트워크의 내부 표현이 이미 고품질의 흐름 필드를 포괄하고 있음을 시사한다.