[논문 리뷰] A Lightweight Optical Flow CNN - Revisiting Data Fidelity and Regularization

Tak-Wai Hui, Xiaoou Tang외 1명|arXiv (Cornell University)|2019. 03. 15.

Advanced Vision and Imaging참고 문헌 44인용 수 28

한 줄 요약

LiteFlowNet2는 변분 방법에서 영감을 얻어 데이터 일관성과 정규화를 재고한 경량이며 빠르고 정확한 광학 흐름 컨volution 신경망을 제안한다. 특징 워핑, 계층적 흐름 추론, 특징 기반 정규화를 사용하며, Sintel 및 KITTI 벤치마크에서 최신 기준 성능을 달성한다. FlowNet2에 비해 모델 크기가 25.3배 작고, 속도는 3.1배 빠르며, Sintel Clean에서 23.3% 더 높은 성능을 기록한다.

ABSTRACT

Over four decades, the majority addresses the problem of optical flow estimation using variational methods. With the advance of machine learning, some recent works have attempted to address the problem using convolutional neural network (CNN) and have showed promising results. FlowNet2, the state-of-the-art CNN, requires over 160M parameters to achieve accurate flow estimation. Our LiteFlowNet2 outperforms FlowNet2 on Sintel and KITTI benchmarks, while being 25.3 times smaller in the model size and 3.1 times faster in the running speed. LiteFlowNet2 is built on the foundation laid by conventional methods and resembles the corresponding roles as data fidelity and regularization in variational methods. We compute optical flow in a spatial-pyramid formulation as SPyNet but through a novel lightweight cascaded flow inference. It provides high flow estimation accuracy through early correction with seamless incorporation of descriptor matching. Flow regularization is used to ameliorate the issue of outliers and vague flow boundaries through feature-driven local convolutions. Our network also owns an effective structure for pyramidal feature extraction and embraces feature warping rather than image warping as practiced in FlowNet2 and SPyNet. Comparing to LiteFlowNet, LiteFlowNet2 improves the optical flow accuracy on Sintel Clean by 23.3%, Sintel Final by 12.8%, KITTI 2012 by 19.6%, and KITTI 2015 by 18.8%, while being 2.2 times faster. Our network protocol and trained models are made publicly available on https://github.com/twhui/LiteFlowNet2.

연구 동기 및 목표

• 기존 딥러닝 방법에 비해 모델 크기와 추론 시간을 크게 줄이며도 높은 정확도를 유지하는 경량 광학 흐름 컨volution 신경망을 개발하는 것.
• 기존의 변분 광학 흐름 방법과 현대의 CNN 간 격차를 해소하기 위해 딥러닝 프레임워크 내에서 데이터 일관성과 정규화 항을 명시적으로 모델링하는 것.
• 새로운 계층적 흐름 추론 기반 및 효과적인 특징 기반 정규화를 통해 흐름 추정 정확도를 향상시키는 것.
• SLAM, 영상 처리, 3D 복원과 같은 자원 제약이 있는 응용 분야에서 실시간 구동이 가능한 광학 흐름 네트워크를 가능하게 하는 것.

제안 방법

• 입력 이미지 쌍에서 다중 척도 특징을 생성하기 위해 공간 피라미드 특징 추출 네트워크(NetC)를 사용한다.
• 기본 특징 매칭과 서브픽셀 정밀도 보정을 통해 피라미드의 여러 수준에서 흐름 예측을 개선하는 계층적 흐름 추론 모듈(NetE)을 활용한다.
• 이미지 워핑 대신 특징 워핑을 적용하여 수준 간 특징 전파를 효율적이고 정확하게 구현한다.
• 특징 기반 국소 컨볼루션을 사용해 이상치를 억제하고 경계 일致성을 향상시키는 흐름 정규화 모듈을 도입한다.
• 학습된 특징 서술자와 상관 계층을 통해 하이브리드 데이터 일관성 항을 활용해 대응점의 강건성을 향상시킨다.
• 인코더에서 공유 가중치를 사용하고 효율적인 모듈(예: 분수 배율 컨볼루션)을 적용해 파rameter 수와 계산량을 최소화하는 경량 아키텍처를 구현한다.

실험 결과

연구 질문

• RQ1 변분 방법에서처럼 데이터 일관성과 정규화 항을 명시적으로 모델링함으로써, 경량 CNN이 최신 기준 광학 흐름 정확도를 달성할 수 있는가?
• RQ2 딥 광학 흐름 네트워크에서 특징 워핑은 이미지 워핑에 비해 정확도와 효율성 측면에서 어떻게 비교되는가?
• RQ3 계층적 흐름 추론과 특징 기반 정규화의 조합이 흐름 추정 정확도와 강건성에 미치는 영향은 무엇인가?
• RQ4 더 작은, 더 빠른 네트워크가 속도와 정확도 모두에서 FlowNet2와 같은 더 큰 최신 기준 모델을 능가할 수 있는가?
• RQ5 고전적인 변분 방법의 설계 원칙이 현대의 CNN 기반 광학 흐름 추정에 효과적으로 적용될 수 있는가?

주요 결과

• Sintel Clean 벤치마크에서 LiteFlowNet보다 23.3% 더 높은 정확도를 기록했으며, 속도는 2.2배 빨라졌다.
• Sintel Final에서는 12.8% 향상, KITTI 2012에서는 19.6%, KITTI 2015에서는 18.8% 향상되었으며, FlowNet2에 비해 모델 크기는 25.3배 작고, 속도는 3.1배 빠르다.
• 이미지 워핑 대신 특징 워핑을 사용함으로써 효율성이 크게 향상되었고, 피라미드 수준 간 특징 전파가 향상되었다.
• 특징 기반 정규화 모듈은 이상치를 효과적으로 줄이고, 특히 무늬가 뚜렷하거나 운동이 모호한 영역에서 흐름 경계 정확도를 향상시켰다.
• 기본 특징 매칭과 서브픽셀 보정을 통한 계층적 흐름 추론은 조기 수정과 고정밀 흐름 추정을 가능하게 했다.
• 정확도와 효율성의 균형을 잘 이루었으며, SLAM, 행동 인식, 3D 복원과 같은 실시간 응용 분야에 적합하다.