[논문 리뷰] LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation

Tak-Wai Hui, Xiaoou Tang외 1명|arXiv (Cornell University)|2018. 05. 18.

Advanced Vision and Imaging참고 문헌 2인용 수 80

한 줄 요약

LiteFlowNet은 도전적인 벤치마크에서 FlowNet2를 능가하는 컴팩트한 CNN이며 매개변수는 약 30배 적고 런타임은 약 1.36배 빠르다. 이는 계단식 흐름 추론, 특징 왜곡, 그리고 새로운 흐름 정규화 층을 통해 달성됐다.

ABSTRACT

FlowNet2, the state-of-the-art convolutional neural network (CNN) for optical flow estimation, requires over 160M parameters to achieve accurate flow estimation. In this paper we present an alternative network that outperforms FlowNet2 on the challenging Sintel final pass and KITTI benchmarks, while being 30 times smaller in the model size and 1.36 times faster in the running speed. This is made possible by drilling down to architectural details that might have been missed in the current frameworks: (1) We present a more effective flow inference approach at each pyramid level through a lightweight cascaded network. It not only improves flow estimation accuracy through early correction, but also permits seamless incorporation of descriptor matching in our network. (2) We present a novel flow regularization layer to ameliorate the issue of outliers and vague flow boundaries by using a feature-driven local convolution. (3) Our network owns an effective structure for pyramidal feature extraction and embraces feature warping rather than image warping as practiced in FlowNet2. Our code and trained models are available at https://github.com/twhui/LiteFlowNet .

연구 동기 및 목표

• 광학 흐름 추정을 위한 가볍지만 정확한 CNN의 필요성을 제기한다.
• 검색 공간을 줄이고 효율성을 높이기 위해 피라미드형 특징 추출 및 특징 왜곡(피처 워핑)을 개발한다.
• 서술자 매칭(descriptor matching)과 함께 계단식 흐름 추론을 도입하여 점진적 정제를 달성한다.
• 특징 기반의 로컬 합성 규제(로컬 컨볼루션 정규화)를 도입하여 이상치를 줄이고 경계를 선명하게 한다.
• 표준 벤치마크에서 엔드투엔드 학습과 경쟁력 있는 성능을 입증한다.

제안 방법

• 두 개의 하위 네트워크: 피라미드형 특징 추출용 NetC와 피라미드형 흐름 추정용 NetE.
• CNN 특징에 대해 특징 왜곡(f-warp)을 적용하여 특징 공간 거리를 줄인다.
• 피라미드 각 수준에서 descriptor matching 유닛 M과 서브픽셀 정제 유닛 S를 갖춘 계단식 흐름 추론.
• 연산 감소를 위한 짧은 범위 탐색과 희소 샘플링을 갖춘 비용 볼륨 기반 descriptor 매칭.
• 피처-주도 로컬 컨볼루션(f-lconv)을 통한 흐름 정규화; 필터는 특징, 흐름, 가림 신호에 맞게 적응한다.
• 학습은 피라미드 레벨을 따라 단계적으로 진행되며 M, S, R 유닛의 점진적 추가; L2 손실과 Adam 옵티마이저를 사용한 엔드투엔드 학습.

실험 결과

연구 질문

• RQ1 매개변수가 현저히 적은 컴팩트한 CNN 구조가 최첨단 또는 근접 최첨단 수준의 광학 흐름 정확도를 달성할 수 있는가?
• RQ2 CNN 특징 공간에서의 특징 왜곡이 이미지 왜곡에 비해 매칭 효율성과 정확성을 향상시키는가?
• RQ3 descriptor 매칭과 서브픽셀 정제가 포함된 계단식 흐름 추론 전략이 큰 변위 흐름 추정에 도움을 주는가?
• RQ4 학습된 특징 기반 정규화 층이 효율성을 유지하면서 아티팩트를 줄이고 흐름 경계를 선명하게 만들 수 있는가?

주요 결과

• LiteFlowNet은 Sintel 최종 패스 및 KITTI 벤치마크에서 FlowNet2와 경쟁력 있거나 우수한 성능을 보이면서 매개변수는 약 30배 적고 실행은 약 1.36배 빠르다.
• NetC(특징)와 NetE(흐름)를 분리한 6레벨 피라미드가 거칠은 단계적 추정에 효과적을 가능하게 한다.
• CNN 특징의 피처 워핑(f-warp)이 추정해야 할 잔류 흐름을 줄여 정확도와 효율성을 향상시킨다.
• descriptor 매칭(M)과 서브픽셀 정제(S)를 포함한 계단식 흐름 추론이 점진적으로 흐름을 개선하고 큰 변위 케이스를 돕는다.
• 새로운 특징 기반 로컬 컨볼루션(f-lconv)은 이미지 및 흐름 인지의 정규화를 제공해 경계를 안정시키고 아티팩트를 줄인다.
• LiteFlowNet 및 그 변형들이 SPyNet과 여러 FlowNet2 변형을 능가하면서도 매개변수 효율이 크게 높다; LiteFlowNet-ft(세부 조정된 모델)는 작업별 데이터로 학습되었을 때 Sintel과 KITTI에서 우수하다.