[논문 리뷰] FastFlowNet: A Lightweight Network for Fast Optical Flow Estimation

Lingtong Kong, Chunhua Shen외 1명|arXiv (Cornell University)|2021. 03. 08.

Advanced Vision and Imaging참고 문헌 31인용 수 5

한 줄 요약

FastFlowNet는 세 가지 핵심 기여를 통해 경량이며 실시간 동작이 가능한 광학 흐름 네트워크를 제안한다: 효율적인 특징 추출을 위한 헤드 강화 풀링 피라미드(HEPP), 압축된 비용 볼륨 구축을 위한 센터 밀도 희귀 상관층(CDDC), 빠른 흐름 추정을 위한 셔플 블록 디코더(SBD). 이는 오직 137만 파라미터와 12.2 GFLOPs로 상태최저 성능을 달성하며, GTX 1080Ti에서는 90 FPS, 임베디드 Jetson TX2에서는 5.7 FPS로 실행되며, 유사 모델 대비 약 1/10의 계산량을 사용한다.

ABSTRACT

Dense optical flow estimation plays a key role in many robotic vision tasks. In the past few years, with the advent of deep learning, we have witnessed great progress in optical flow estimation. However, current networks often consist of a large number of parameters and require heavy computation costs, largely hindering its application on low power-consumption devices such as mobile phones. In this paper, we tackle this challenge and design a lightweight model for fast and accurate optical flow prediction. Our proposed FastFlowNet follows the widely-used coarse-to-fine paradigm with following innovations. First, a new head enhanced pooling pyramid (HEPP) feature extractor is employed to intensify high-resolution pyramid features while reducing parameters. Second, we introduce a new center dense dilated correlation (CDDC) layer for constructing compact cost volume that can keep large search radius with reduced computation burden. Third, an efficient shuffle block decoder (SBD) is implanted into each pyramid level to accelerate flow estimation with marginal drops in accuracy. Experiments on both synthetic Sintel data and real-world KITTI datasets demonstrate the effectiveness of the proposed approach, which needs only 1/10 computation of comparable networks to achieve on par accuracy. In particular, FastFlowNet only contains 1.37M parameters; and can execute at 90 FPS (with a single GTX 1080Ti) or 5.7 FPS (embedded Jetson TX2 GPU) on a pair of Sintel images of resolution 1024x436.

연구 동기 및 목표

• 기존 딥러닝 기반 광학 흐름 네트워크의 높은 계산 비용과 큰 모델 크기 문제를 해결하여 모바일 및 임베디드 기기에서의 구현을 가능하게 하기 위해.
• 모바일폰과 드론(UAV)과 같은 저전력 플랫폼에서 실시간으로 정확한 광학 흐름 추정을 가능하게 하기 위해.
• 특징 추출, 비용 볼륨 구성, 흐름 디코딩을 포함한 전체 광학 흐름 파이프라인을 정확도를 훼손하지 않으면서도 효율적으로 재설계하기 위해.
• 표준 벤치마크에서 성능을 유지하거나 향상시키면서도 FLOPs와 모델 크기를 크게 줄이는 것.

제안 방법

• 고수준에서는 컨벌루션 레이어를, 저수준에서는 파rameter-free 풀링을 조합한 헤드 강화 풀링 피라미드(HEPP)를 도입하여 파라미터와 계산량을 줄이고 고해상도 특징을 유지한다.
• 특징을 확장된 중심 집중 패턴으로 샘플링하여 큰 효과적 수신 영역을 확보하면서도 압축된 비용 볼륨을 구성하는 센터 밀도 희귀 상관층(CDDC)을 제안한다. 이는 계산량을 줄이면서도 넓은 탐색 반경을 유지한다.
• 그룹화된 디프스와이즈 분리형 컨벌루션을 사용한 셔플 블록 디코더(SBD)를 적용하여 흐름 디코더를 압축함으로써 파라미터와 FLOPs를 줄이고 정확도 저하를 최소화한다.
• 각 피라미드 수준에서 잔차 흐름을 추정하는 코arse-투-파인 잔차 학습 프레임워크를 사용하여 복잡도를 줄이고 큰 이동 거리의 정확한 추정을 가능하게 한다.
• 합성 및 실제 세계 데이터셋에서의 정 fine-tuning 을 위해 60만 반복 동안 적용되는 적응형 가중치(loss q = 0.4 for Sintel, q = 0.2 for KITTI)와 학습률 스케줄을 적용한다.
• 데스크톱 및 임베디드 GPU에서의 정확도, FLOPs, 추론 시간을 측정하기 위해 Sintel(합성) 및 KITTI(실제 세계) 벤치마크에서 모델을 평가한다.

실험 결과

연구 질문

• RQ1 기존 방법에 비해 FLOPs와 모델 크기를 크게 줄였을 때, 경량 광학 흐름 네트워크가 경쟁력 있는 정확도를 달성할 수 있는가?
• RQ2 제안된 CDDC 레이어는 비용 볼륨 구성에서 계산 비용을 최소화하면서도 큰 효과적 수신 영역을 유지하는 데 얼마나 효과적인가?
• RQ3 표준 특징 피라미드에 비해 더 적은 파라미터로 HEPP 특징 추출기가 특징 표현을 얼마나 향상시키는가?
• RQ4 SBD 모듈이 여러 피라미드 수준에서 흐름 디코딩의 정확도 저하를 최소화하면서도 어떻게 빠른 성능 향상을 달성하는가?
• RQ5 전체 FastFlowNet 아키텍처는 임베디드 플랫폼에서 효율성을 유지하면서도 실제 주행 환경(예: KITTI)에서 강한 일반화 성능을 유지를 할 수 있는가?

주요 결과

• Sintel Final 테스트 세트에서 FastFlowNet은 90.0%의 정확도를 달성하여 FlowNetC와 SPyNet을 능가하고, 12.2 GFLOPs로 13.4배 적은 계산량을 사용함에도 불구하고 LiteFlowNet의 90% 수준의 성능를 기록한다.
• KITTI 2015 벤치마크에서 FastFlowNet은 PWC-Net과 LiteFlowNetX 수준의 경쟁력 있는 결과를 내며, 다중곱 계산 비용을 7.5배 줄였다.
• 1024×436 해상도의 Sintel 이미지에서 GTX 1080Ti에서는 90 FPS, 임베디드 Jetson TX2 GPU에서는 5.7 FPS로 실행되어 엣지 디바이스에서 실시간 추론을 구현함을 입증한다.
• FastFlowNet는 오직 137만 개의 파라미터만을 사용하여 FlowNet2 대비 120배 작고, 다른 최신 기술 모델보다도 훨씬 효율적이다.
• 제거 분석 결과, HEPP, CDDC, SBD 각 구성 요소가 효율-정확도 트레이드오프에 기여하며, SBD는 그룹 수 g=3 이상일 경우 수익 감소 현상이 나타난다.
• KITTI 2015 검증 세트에서 CDDC 레이어는 표준 상관 레이어보다 성능 향상을 보였으며, 특히 큰 이동 거리 시나리오에서 두드러진 성능 향상을 보였다. 다만 Sintel에서는 성능 향상이 없었다.