[논문 리뷰] Video Super-Resolution with Recurrent Structure-Detail Network

Takashi Isobe, Xu Jia외 4명|arXiv (Cornell University)|2020. 08. 02.

Advanced Image Processing Techniques참고 문헌 31인용 수 15

한 줄 요약

이 논문은 두 개의 스트림을 갖춘 순환 블록을 통해 프레임을 구조와 세부 정보 성분으로 분해하여 별도로 처리하는 순환 비디오 초해상도 네트워크인 RSDN을 제안한다. 숨겨진 상태 적응 모듈을 통해 외관 변화와 오차 누적에 대한 강건성을 확보함으로써 효율성이 향상된 상태의 기준 성능를 달성하며, 다양한 벤치마크에서 이전 방법들을 능가하면서도 상당히 빠른 속도를 기록한다.

ABSTRACT

Most video super-resolution methods super-resolve a single reference frame with the help of neighboring frames in a temporal sliding window. They are less efficient compared to the recurrent-based methods. In this work, we propose a novel recurrent video super-resolution method which is both effective and efficient in exploiting previous frames to super-resolve the current frame. It divides the input into structure and detail components which are fed to a recurrent unit composed of several proposed two-stream structure-detail blocks. In addition, a hidden state adaptation module that allows the current frame to selectively use information from hidden state is introduced to enhance its robustness to appearance change and error accumulation. Extensive ablation study validate the effectiveness of the proposed modules. Experiments on several benchmark datasets demonstrate the superior performance of the proposed method compared to state-of-the-art methods on video super-resolution.

연구 동기 및 목표

• 명시적인 운동 보정 없이 장기적인 시간적 의존성을 활용하는 효율적이고 효과적인 순환 비디오 초해상도 방법을 개발하기.
• 슬라이딩 윈도우 방법의 한계를 해결하기 — 이는 중복 계산과 높은 지연 시간을 야기한다.
• 은닉 상태 정보의 선택적 사용을 통해 순환 비디오 초해상도에서 외관 변화와 오차 누적에 대한 강건성을 향상시키기.
• 기존 최첨단 방법들과 비교해 재구성 품질과 추론 속도 사이의 균형을 더 잘 달성하기.

제안 방법

• 입력 비디오 프레임은 학습된 분해 모듈을 사용해 구조와 세부 정보 성분으로 분해된다.
• 구조와 세부 정보 성분은 공유된 가중치를 갖는 두 개의 병렬이고 교차하는 스트림을 통해 이중 스트림 구조-세부 블록(SD 블록)에서 처리된다.
• 다수의 SD 블록으로 구성된 순환 유닛이 스트리밍 방식으로 시퀀스를 처리하며, 각 프레임 간에 은닉 상태를 유지한다.
• 은닉 상태 적응 모듈은 현재 프레임과 은닉 상태의 각 채널 간 상관관계를 계산하여 관련된 이전 특징에 대한 선택적 주의를 가능하게 한다.
• 학습 가능한 필터와 시간에 걸친 특징 집합을 통해 운동을 암묵적으로 모델링함으로써 명시적 운동 보정을 피한다.
• 구조적 정확성과 시각적 품질을 향상시키기 위해 L1 손실과 인지적 손실을 조합한 복합 손실을 통해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 슬라이딩 윈도우 방법보다 더 높은 성능를 달성하면서도 높은 추론 효율성을 유지할 수 있는가?
• RQ2 공유된 순환 아키텍처에서 구조와 세부 정보 성분을 효과적으로 분리하고 처리함으로써 재구성 품질을 향상시킬 수 있는가?
• RQ3 은닉 상태 적응이 장기적인 비디오 초해상도에서 외관 변화와 오차 누적에 대한 강건성을 향상시킬 수 있는가?
• RQ4 이중 스트림 구조-세부 설계가 초해상도 비디오에서 고주파 세부 정보 복구와 에지 선명도를 얼마나 향상시킬 수 있는가?

주요 결과

• Vid4 데이터셋에서 RSDN은 5개의 SD 블록을 사용해 Y 채널에서 27.61 dB의 PSNR를 기록했으며, 대부분의 이전 방법들을 능가했다.
• 9개의 SD 블록을 사용할 경우, RSDN은 Vid4에서 Y 채널에서 27.92 dB의 PSNR를 기록했으며, FLOP 증가가 미미한 수준에서 5블록 버전보다 0.31 dB 향상되었다.
• UDM10에서 RSDN 9-128은 최첨단 성능를 달성했으며, PFNL보다 PSNR에서 0.61 dB 높았고, 속도는 3배 빠르게 기록했다.
• Vimeo-90K-T에서 RSDN 9-128는 EDVR-L보다 6배 빠르게 작동했으며, PSNR에서는 매우 작은 격차로 뒤처졌다.
• 정성적 결과 분석에서 RSDN은 DUF나 RBPN과 같은 방법들보다 더 선명한 에지와 더 세밀한 세부 정보를 생성했으며, 잡음 요소도 적었다.
• 시간적 일관성 분석 결과, RSDN은 더 부드럽고 선명한 시간적 프로파일을 생성했으며, 이는 향상된 운동 일관성을 나타낸다.