[논문 리뷰] PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume

Deqing Sun, Xiaodong Yang외 2명|arXiv (Cornell University)|2017. 09. 07.

Advanced Vision and Imaging참고 문헌 1인용 수 141

한 줄 요약

PWC-Net은 학습 가능한 피처 피라미드, 워핑, 코스트 볼륨을 결합한 엔드투엔드 CNN으로 소형 모델과 실시간 속도로 최첨단 정확도를 달성합니다.

ABSTRACT

We present a compact but effective CNN model for optical flow, called PWC-Net. PWC-Net has been designed according to simple and well-established principles: pyramidal processing, warping, and the use of a cost volume. Cast in a learnable feature pyramid, PWC-Net uses the cur- rent optical flow estimate to warp the CNN features of the second image. It then uses the warped features and features of the first image to construct a cost volume, which is processed by a CNN to estimate the optical flow. PWC-Net is 17 times smaller in size and easier to train than the recent FlowNet2 model. Moreover, it outperforms all published optical flow methods on the MPI Sintel final pass and KITTI 2015 benchmarks, running at about 35 fps on Sintel resolution (1024x436) images. Our models are available on https://github.com/NVlabs/PWC-Net.

연구 동기 및 목표

• dense optical flow를 위한 실시간이고 정확한 엔드-투-엔드 CNN의 동기 부여 및 설계.
• CNN의 효율성과 성능을 개선하기 위해 고전적 광류 원리를 통합하는 방법 탐구.
• 모델 크기를 줄이면서 정확도를 유지하는 경량 아키텍처 개발.

제안 방법

• 고정 이미지 피라미드를 여러 레벨에서 학습 가능한 피처 피라미드로 대체.
• 프레임 간 특징 정렬을 위해 업샘플링된 흐름을 사용하는 워핑 레이어를 도입.
• 제한된 탐색 범위의 매칭 비용을 포착하기 위해 피라미드 레벨마다 부분 코스트 볼륨을 구성.
• 각 피라미드 레벨에서 흐름을 예측하는 다층 광류 추정기를 사용하고 선택적으로 DenseNet 연결을 포함한다.
• 다음 흐름을 정제하기 위해 dilated 합성 convolutions를 가진 컨텍스트 네트워크를 추가.
• 다중 스케일 손실 및 일반화 향상을 위한 강건한 변형으로 학습.

실험 결과

연구 질문

• RQ1 피라미드 처리, 워핑, 코스트 볼륨을 활용해 CNN 기반 광류 모델이 매우 작은 크기와 더 빠른 추론으로 최첨단 정확도를 달성할 수 있는가?
• RQ2 클래식 광류 구성 요소(워핑, 코스트 볼륨)를 엔드-투-엔드 학습 가능 아키텍처에 통합하면 Sintel과 KITTI에서 FlowNet2와 SpyNet보다 정확도가 향상되는가?
• RQ3 아키텍처 선택(피처 피라미드 깊이, DenseNet 연결, 컨텍스트 네트워크, 손실 함수)이 정확도와 일반화에 미치는 영향은 무엇인가?
• RQ4 도메인 특화 데이터(Sintel, KITTI)에서 파인튜닝된 PWC-Net은 처음부터 학습했을 때와 비교할 때 어떤 성능을 보이는가?

주요 결과

• PWC-Net은 MPI Sintel final pass 및 KITTI 2015 벤치마크에서 발표된 광류 방법들 중 최첨단 정확도를 달성합니다.
• 모델은 FlowNet2보다 약 17x 작고 Sintel 해상도(1024×436)에서 약 35 fps로 실행됩니다.
• 워핑 기반 특징 정렬, 부분 코스트 볼륨, 컨텍스트 네트워크를 도입하면 흐름 추정 및 경계 선명도가 향상됩니다.
• DenseNet 연결 및 미세 조정은 추가 성능 향상을 제공하며, 컨텍스트 및 더 큰 특징 추출기가 정확도에 기여합니다.
• KITTI에서 PWC-Net은 두 프레임 방법 중 발표된 방법들 중에서 가장 낮은 흐름 이상치(Fl-all)를 달성하고, 전경 영역에서 강력하게 작동합니다.