[논문 리뷰] Models Matter, So Does Training: An Empirical Study of CNNs for Optical Flow Estimation

Deqing Sun, Xiaodong Yang외 2명|arXiv (Cornell University)|2018. 09. 14.

Advanced Vision and Imaging참고 문헌 31인용 수 25

한 줄 요약

이 논문은 전통적인 컴퓨터 비전 원리를 통합한 깊이 학습 프레임워크인 PWC-Net을 소개한다. PWC-Net은 피라미드형 특징 추출, 특징 와핑, 다중 수준 비용 볼륨 등의 원리를 포함한 컴act하고 효율적인 CNN으로, Sintel final 벤치마크에서 FlowNet2보다 11% 높은 정확도를 달성했으며, 모델 크기는 17배 작고 추론 속도는 2배 빠르다. 더 나아가 향상된 훈련 프rotocol을 통해 추가 성능 향상을 이룬다.

ABSTRACT

We investigate two crucial and closely related aspects of CNNs for optical flow estimation: models and training. First, we design a compact but effective CNN model, called PWC-Net, according to simple and well-established principles: pyramidal processing, warping, and cost volume processing. PWC-Net is 17 times smaller in size, 2 times faster in inference, and 11\% more accurate on Sintel final than the recent FlowNet2 model. It is the winning entry in the optical flow competition of the robust vision challenge. Next, we experimentally analyze the sources of our performance gains. In particular, we use the same training procedure of PWC-Net to retrain FlowNetC, a sub-network of FlowNet2. The retrained FlowNetC is 56\% more accurate on Sintel final than the previously trained one and even 5\% more accurate than the FlowNet2 model. We further improve the training procedure and increase the accuracy of PWC-Net on Sintel by 10\% and on KITTI 2012 and 2015 by 20\%. Our newly trained model parameters and training protocols will be available on https://github.com/NVlabs/PWC-Net

연구 동기 및 목표

• 깊이 학습에 잘 알려진 광학 흐름 원리(피라미드 처리, 와핑, 비용 볼륨)를 통합하여 모델 크기가 작고 정확도가 높은 CNN 아키텍처를 설계한다.
• 도메인 지식과 딥러닝을 융합할 경우, 전통적인 정확도-크기 상호보완성의 딜레마를 극복하고 모델 크기 감소와 성능 향상을 동시에 달성할 수 있는지 탐구한다.
• 모델 아키텍처만큼이나 훈련 절차가 광학 흐름 추정에서 최신 기술 수준의 성능을 달성하는 데 핵심적인 역할을 한다는 것을 입증한다.
• 공개 가능한 재훈련 모델과 훈련 프로토콜을 제공하여 공정한 벤치마크 평가와 향후 연구의 재현 가능성을 보장한다.

제안 방법

• 다중 해상도 운동 정보를 포착하기 위해 6단계 피라미드형 특징 추출기를 설계하여 큰 이동 거리에 대한 강건한 추정을 가능하게 한다.
• 예측된 흐름을 사용해 두 번째 이미지의 특징을 첫 번째 이미지에 정렬하는 특징 와핑을 적용하여 운동 크기를 줄이고 흐름 추정을 단순화한다.
• 제한된 검색 범위를 사용해 각 피라미드 수준에서 부분적인 비용 볼륨을 구성하여 흐름 탐색 공간의 구분 가능한 표현을 만든다.
• 여러 개의 잔차 블록을 스택하여 각 피라미드 수준에서 흐름 예측을 정밀하게 개선하고, 더 넓은 수준의 특징이 더 세밀한 수준의 개선을 안내하도록 한다.
• 교수 학습, 데이터 증강(예: 무작위 자르기, 수평 뒤집기), 학습률 스케줄링을 포함한 다단계 훈련 전략을 사용해 수렴성과 일반화 성능을 향상시킨다.
• 모든 피라미드 수준에서의 감독 신호를 조합한 다중 척도 손실 함수를 사용해 모델을 엔드 투 엔드로 훈련시킨다.

실험 결과

연구 질문

• RQ1 전통적인 광학 흐름 원리인 피라미드 처리, 와핑, 비용 볼륨을 CNN 아키텍처에 통합할 경우 성능 향상과 함께 모델 크기 감소를 동시에 달성할 수 있는가?
• RQ2 데이터 증강 및 학습률 스케줄링과 같은 훈련 프로토콜이 아키텍처 설계를 초월해 성능 향상에 기여하는 정도는 어느 정도인가?
• RQ3 최적의 절차로 훈련된 경우, 더 작고 효율적인 모델이 FlowNet2와 같은 더 크고 복잡한 모델을 능가할 수 있는가?
• RQ4 기존의 엔드 투 엔드 CNN보다 작고 빠르면서도 최신 기술 수준의 정확도를 달성하는 것이 가능한가?
• RQ5 표준 벤치마크에서 성능 향상 측면에서 훈련 개선과 아키텍처 혁신 중 어느 쪽이 더 큰 기여를 하는가?

주요 결과

• PWC-Net은 모델 크기가 FlowNet2보다 17배 작고 추론 속도는 2배 빠르지만, Sintel final 벤치마크에서 정확도가 11% 높다.
• PWC-Net과 동일한 프로토콜로 재훈련한 FlowNetC는 Sintel final에서 정확도가 56% 향상되었으며, FlowNet2를 5% 초월했다.
• 훈련 절차를 추가로 최적화함으로써 PWC-Net의 정확도는 Sintel에서 10%, KITTI 2012에서 20%, KITTI 2015에서 20% 향상되었다.
• Sintel 해상도 이미지(1024×436)에서 PWC-Net은 약 35 FPS로 실시간 성능을 보였다.
• PWC-Net은 로버스트 비전 챌린지의 광학 흐름 부문에서 우승한 모델로, 단일 설정의 파rameter로 다양한 벤치마크에서 뛰어난 강건성을 입증했다.
• 결과적으로 모델 아키텍처와 훈련 절차가 모두 핵심 요소임을 확인하였으며, 아키텍처 혁신과 동등한 성능 향상은 훈련 개선만으로도 달성할 수 있었다.