[논문 리뷰] Optical Flow Estimation using a Spatial Pyramid Network

Anurag Ranjan, Michael J. Black|arXiv (Cornell University)|2016. 11. 03.

Advanced Vision and Imaging참고 문헌 32인용 수 20

한 줄 요약

이 논문은 광학 흐름을 효율적으로 추정하기 위해 고전적인 코arse-to-fine 공간 피라미드와 딥 러닝을 결합한 경량 광학 흐름 네트워크인 SPyNet을 제안한다. 각 피라미드 수준에서 딥 네트워크를 적용하여 1 픽셀 이내의 작은 흐름 업데이트를 예측함으로써, SPyNet은 FlowNet 대비 모델 크기를 96% 감소시키고, Middlebury 및 KITTI 벤치마크에서 뛰어난 정확도를 달성하며, 실시간으로 임베디드 환경에 구현 가능하다. 또한 생물학적으로 타당한 시공간 필터를 학습하여 해석 가능성을 높이며, 고전적인 도함수와 가우시안 필터, 가우시안 모자이크 필터와 유사한 필터를 학습한다.

ABSTRACT

We learn to compute optical flow by combining a classical spatial-pyramid formulation with deep learning. This estimates large motions in a coarse-to-fine approach by warping one image of a pair at each pyramid level by the current flow estimate and computing an update to the flow. Instead of the standard minimization of an objective function at each pyramid level, we train one deep network per level to compute the flow update. Unlike the recent FlowNet approach, the networks do not need to deal with large motions; these are dealt with by the pyramid. This has several advantages. First, our Spatial Pyramid Network (SPyNet) is much simpler and 96% smaller than FlowNet in terms of model parameters. This makes it more efficient and appropriate for embedded applications. Second, since the flow at each pyramid level is small (< 1 pixel), a convolutional approach applied to pairs of warped images is appropriate. Third, unlike FlowNet, the learned convolution filters appear similar to classical spatio-temporal filters, giving insight into the method and how to improve it. Our results are more accurate than FlowNet on most standard benchmarks, suggesting a new direction of combining classical flow methods with deep learning.

연구 동기 및 목표

• 고전적인 코어스-투-파인 피라미드 방법과 딥 러닝을 융합하여 광학 흐름 추정의 정확도와 효율성을 향상시키기 위해.
• 모바일 및 임베디드 응용 프로그램에의 배포를 위해 모델 크기와 추론 시간을 줄이기 위해.
• 무작위 필터가 아닌 해석 가능한 생물학적으로 타당한 시공간 필터를 학습하여 모델의 투명성 향상과 향후 최적화 가능성 증대를 위해.
• 딥 네트워크가 큰 운동을 처리하는 데 한계가 있음을 보완하기 위해 이 작업을 피라미드 구조로 이관하기 위해.
• 큰 운동 상황에서 각 피라미드 수준에서 흐름 업데이트를 학습하는 것이 종단 간 추정보다 더 우수한 성능을 내는지 입증하기 위해.

제안 방법

• 입력 이미지 쌍을 다운샘플링하여 여러 해상도 수준으로 구성된 공간 피라미드를 생성함으로써, 큰 운동을 더 해상도가 낮은 수준에서 1 픽셀 이내의 이동으로 감소시킴.
• 각 피라미드 수준에서 현재 흐름 추정을 사용해 한 이미지를 다른 이미지 쪽으로 워핑하여, 흐름 업데이트 예측을 위한 정렬된 이미지 쌍을 생성함.
• 각 피라미드 수준에서 딥 컨volution 네트워크를 훈련시어, 고전적인 에너지 최소화를 학습된 업데이트 함수로 대체함.
• 흐름 추정을 각 수준에서 업샘플링하고 다음 수준에 더하여, 반복이 없는 코어스-투-파인 정밀화 과정을 형성함.
• 비행 의자 데이터로 훈련하고, Middlebury 및 KITTI에서 미세조정함. 피라미드 수준 간 공유 아키텍처를 통해 파rameter 수를 감소시킴.
• SPyNet에서 학습된 필터는 고전적인 시공간 도함수 및 가우시안 필터와 유사하여, 기존 운동 처리 모델과의 호환성을 시사함.

실험 결과

연구 질문

• RQ1 딥 러닝 접근법이 임베디드 시스템에 적합한 작은 모델 크기 유지 조건에서 광학 흐름 정확도를 향상시킬 수 있는가?
• RQ2 다양한 피라미드 수준에서 큰 운동 추정을 작은, 학습 가능한 업데이트로 분해하면 종단 간 학습보다 더 뛰어난 성능을 내는가?
• RQ3 피라미드 기반 네트워크가 학습한 필터가 고전적인 시공간 필터와 유사한가? 이는 생물학적 및 공학 원칙과의 일치를 시사하는가?
• RQ4 경량 네트워크가 기존 딥 네트워크보다 훨씬 작고 빠르면서도 표준 벤치마크에서 최고 수준의 정확도를 달성할 수 있는가?
• RQ5 고전적인 피라미드 워핑과 학습된 흐름 업데이트의 조합이 순수 종단 간 딥 러닝 대비 강건성과 일반화 능력 측면에서 어떻게 비교되는가?

주요 결과

• SPyNet은 FlowNet 대비 모델 크기를 96% 감소시켜, 더 빠른 추론과 모바일 및 임베디드 장치에의 배포를 가능하게 함.
• 미세조정 후 SPyNet은 FlowNet보다 Middlebury 및 KITTI 벤치마크에서 더 높은 정확도를 달성함. 이는 훨씬 더 작은 크기임에도 불구하고.
• SPyNet은 고전적인 가우시안 도함수 및 가우시안 필터와 유사한 컨볼루션 필터를 학습함으로써 의미 있는 특징 학습과 해석 가능성의 증거를 제공함.
• SPyNet은 속도-정확도 트레이드오프에서 모든 빠른 방법보다 뛰어나며, 실시간 구동이 가능한 네트워크 중 최상의 균형을 제공함.
• 학습된 업데이트를 포함한 코어스-투-파인 접근법은 각 수준에서 피크셀 이내의 이동을 보장함으로써 큰 운동을 효과적으로 처리할 수 있음.
• 이 방법은 공간 피라미드의 한계를 그대로 이어받으며, 얇거나 빠르게 움직이는 물체의 운동을 포착하기 어려움을 보여주어, 향후 희소 매칭 또는 채널 일관성 표현과의 통합이 필요함.