[논문 리뷰] FlowNet 2.0: Evolution of Optical Flow Estimation with Deep Networks

Eddy Ilg, N. Michael Mayer외 4명|arXiv (Cornell University)|2016. 12. 06.

Advanced Vision and Imaging인용 수 50

한 줄 요약

FlowNet 2.0은 특징 워핑, 소동작 전용 하위네트워크, 다중 데이터셋 훈련 스케줄을 도입함으로써 광학 흐름 추정을 크게 향상시켰다. FlowNet 대비 추정 오차를 50% 이상 감소시키며, Sintel 및 KITTI 벤치마크에서 최신 기술 수준의 정확도를 달성했고, 인터랙티브 프레임 레이트(8–140 fps)로 실행된다.

ABSTRACT

The FlowNet demonstrated that optical flow estimation can be cast as a learning problem. However, the state of the art with regard to the quality of the flow has still been defined by traditional methods. Particularly on small displacements and real-world data, FlowNet cannot compete with variational methods. In this paper, we advance the concept of end-to-end learning of optical flow and make it work really well. The large improvements in quality and speed are caused by three major contributions: first, we focus on the training data and show that the schedule of presenting data during training is very important. Second, we develop a stacked architecture that includes warping of the second image with intermediate optical flow. Third, we elaborate on small displacements by introducing a sub-network specializing on small motions. FlowNet 2.0 is only marginally slower than the original FlowNet but decreases the estimation error by more than 50%. It performs on par with state-of-the-art methods, while running at interactive frame rates. Moreover, we present faster variants that allow optical flow computation at up to 140fps with accuracy matching the original FlowNet.

연구 동기 및 목표

• 특히 소동작과 실세계 데이터에서의 정확도와 강인성을 향상시키기 위한 딥 광학 흐름 추정 개선.
• 엔드 투 엔드 학습 프레임워크를 가진 FlowNet의 한계를 해결하기 위해, 소운동에서의 성능 저하와 실세계 영상에서의 성능 열등성을 해결.
• 실시간 응용 프로그램을 위해 속도와 정확도의 균형을 잡은 확장 가능한 아키텍처 개발.
• 운동 분할 및 동작 인식과 같은 후속 작업을 위한 신뢰할 수 있는 광학 흐름 제공.
• 데이터셋 스케줄링과 아키텍처 혁신을 통한 훈련 전략 최적화로 이전의 학습 기반 방법을 뛰어넘기

제안 방법

• 중간 흐름 예측값을 사용해 두 번째 이미지를 워핑하는 스택형 아키텍처를 도입해, 다중 스테이지에서 흐름 추정을 정밀하게 개선.
• 작은 스텝과 잔차 연결을 갖춘 소동작 전용 하위네트워크(FlowNetS)를 설계해, 소동작 및 서브픽셀 이동에 집중.
• 합성 데이터셋(FlyingChairs, FlyingThings3D 등)을 특정 순서로 조합하는 다중 데이터셋 훈련 스케줄을 구현해 일반화 능력 향상.
• 초기 특징 추출 단계에서 상관관계 레이어를 사용해 프레임 간 이미지 패치의 매칭을 향상.
• 대운동 스택과 소운동 하위네트워크의 예측을 경량 융합 네트워크로 융합해 각각의 강점을 조합.
• 훈련 안정성과 수렴 성능 향상을 위해 데이터셋 간 번갈아가며 학습 스케줄을 적용.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 기반 광학 흐름이 실세계 및 소운동 시나리오에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 훈련 데이터셋의 순서와 조합 방식이 광학 흐름 네트워크의 일반화 능력과 정확도에 어떤 영향을 미치는가?
• RQ3 이미지 워핑을 활용한 스택형 다중 흐름 네트워크 아키텍처가 단일 스테이지 아키텍처를 뛰어넘어 성능 향상을 이룰 수 있는가?
• RQ4 소운동 전용 하위네트워크가 미세한 운동 세부 정보의 정확도를 크게 향상시킬 수 있는가?
• RQ5 실시간 추론 속도(8–140 fps)를 확보하면서 정확도를 어느 정도 유지할 수 있는가?

주요 결과

• FlowNet 2.0은 원본 FlowNet 대비 추정 오차를 50% 이상 감소시켜 Sintel 및 KITTI 벤치마크에서 최신 기술 수준의 성능을 달성했다.
• 실세계 데이터에서 운동 블러와 압축 아티팩트에 대해 강인하며, 부드럽고 세밀한 흐름 필드, 선명한 경계를 생성했다.
• Middlebury 벤치마크에서 운동 분할의 F-측정치는 79.92%로, 동작 인식 정확도는 79.51%를 기록했으며, 이는 최신 기술 수준의 방법과 동등하거나 이를 초월했다.
• 가장 빠른 변종은 140 fps로 실행되며, 원본 FlowNet 수준의 정확도를 유지해 실시간 응용이 가능했다.
• 다중 데이터셋 훈련 스케줄과 워핑 기반 스택 아키텍처는 성능 향상에 핵심적이며, 추론 실험을 통해 각각의 영향과 병합 효과를 확인했다.
• 소동작 전용인 FlowNetS 하위네트워크는 이전에 FlowNet의 취약점이었던 소동작에서의 성능 향상을 크게 개선했다.