[논문 리뷰] FDAN: Flow-guided Deformable Alignment Network for Video Super-Resolution

Jiayi Lin, Yan Huang외 1명|arXiv (Cornell University)|2021. 05. 12.

Advanced Image Processing Techniques참고 문헌 28인용 수 33

한 줄 요약

FDAN은 흐름 유도 변형 정렬 프레임워크를 도입하여 매칭 기반 흐름 추정 모듈과 흐름 유도 변형 모듈을 결합해 빠른 움직임에서도 비디오 초해상도에서 이웃 프레임을 견고하게 정렬한다.

ABSTRACT

Most Video Super-Resolution (VSR) methods enhance a video reference frame by aligning its neighboring frames and mining information on these frames. Recently, deformable alignment has drawn extensive attention in VSR community for its remarkable performance, which can adaptively align neighboring frames with the reference one. However, we experimentally find that deformable alignment methods still suffer from fast motion due to locally loss-driven offset prediction and lack explicit motion constraints. Hence, we propose a Matching-based Flow Estimation (MFE) module to conduct global semantic feature matching and estimate optical flow as coarse offset for each location. And a Flow-guided Deformable Module (FDM) is proposed to integrate optical flow into deformable convolution. The FDM uses the optical flow to warp the neighboring frames at first. And then, the warped neighboring frames and the reference one are used to predict a set of fine offsets for each coarse offset. In general, we propose an end-to-end deep network called Flow-guided Deformable Alignment Network (FDAN), which reaches the state-of-the-art performance on two benchmark datasets while is still competitive in computation and memory consumption.

연구 동기 및 목표

• 빠른 움직임 하에서 시간 정보의 활용을 개선하기 위한 VSR의 견고한 정렬 동기화.
• Flow-guided Deformable Alignment (FDA)를 제안하여 광학 흐름과 변형 합성(convolution)을 통합한다.
• 전 pretrained 없이 글로벌 흐름 추정을 위한 경량의 Matching-based Flow Estimation (MFE) 모듈을 개발한다.
• 간결한 백본과 주의(attention) 기반 시간 융합을 활용한 픽셀 단위 L1 손실로 엔드투엔드 FDAN 아키텍처를 구축한다.

제안 방법

• 두 모듀얼 정렬: 1/4 해상도에서 모든 쌍 매칭을 통한 coarse 글로벌 흐름 추정을 위한 MFE; 흐름 업샘플링과 워핑을 통해 미세 흐름을 생성한다.
• Flow-guided Deformable Module (FDM)에서 Flow-guided Deformable Convolution (FDC)을 사용하여 광학 흐름에 조건화된 미세 옵셋과 변조 스칼라를 생성한다.
• 정밀한 샘플링을 지원하기 위해 원래 특징 맵에서 참조 이웃을 워핑하는(flow-informed sampling) 고급 결합 전략.
• 픽셀 단위 L1 손실과 간결한 백본 및 샤용(attention-based) 시간 융합으로 Reconstruction을 수행하는 엔드투엔드 FDAN 학습.
• 두 개의 변형 가능한 컨볼루션으로 이루어진 FDM의 계단식 구성으로, 첫 번째가 흐름 가이드이고 두 번째가 정렬된 특징을 정제한다.

실험 결과

연구 질문

• RQ1 광학 흐름으로부터의 명시적 모션 제약이 특히 빠른 움직임에서 비디오 초해상도를 위한 변형 정렬을 개선할 수 있는가?
• RQ2 전역적이고 흐름 정보에 기반한 매칭(MFE)이 단순 로컬 변형 샘플링보다 더 나은 옵셋 예측을 제공하는가?
• RQ3 흐름을 변형 합성에 통합하는 것이 정렬 정확도, 인공물, 전반적 SR 품질에 어떤 영향을 미치는가?
• RQ4 제안된 FDAN이 표준 VSR 벤치마크에서 성능과 효율면에서 최첨단 방법과 비교해 어떤 위치를 차지하는가?

주요 결과

• FDAN은 Vimeo90K-T 및 UDM10 데이터 세트에서 최첨단 성능을 달성한다.
• 다른 명시적 정렬 방법과 비교했을 때 계산량과 메모리 측면에서 여전히 경쟁력을 유지한다.
• MFE는 감소된 해상도에서 모든 쌍 의미론적 매칭을 사용한 강력한 코스 흐름 추정을 제공한다.
• 고급 결합(flow-informed sampling)은 샘플링 로컬리티를 개선하고 순진한 흐름 통합에 비해 노이즈를 줄인다.
• FDAN은 데이터 세트 전반에 걸쳐 일반화되며, 흐름 가이드 변형 정렬이 순수 변형 또는 흐름 기반 방법에 비해 이점을 보여주는 제거(ablations) 결과를 나타낸다.