[논문 리뷰] MuCAN: Multi-Correspondence Aggregation Network for Video Super-Resolution

Wenbo Li, Xin Tao외 4명|arXiv (Cornell University)|2020. 07. 23.

Advanced Image Processing Techniques참고 문헌 46인용 수 15

한 줄 요약

MuCAN은 다중 대응 집적을 통해 시간적 및 공간적 특징 정렬을 향상시키는 새로운 비디오 초해상도 네트워크를 제안한다. 시간적 다중 대응 집적 모듈(TM-CAM)을 도입하여 다수의 유사 패치를 이용한 강인한 운동 보정을 구현하고, 크로스 스케일 비국소 대응 집적 모듈(CN-CAM)을 통해 스케일 간 자가유사성을 활용하여, REDS, Vimeo-90K, Vid4 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며 이전 방법 대비 최대 0.25dB 향상된다.

ABSTRACT

Video super-resolution (VSR) aims to utilize multiple low-resolution frames to generate a high-resolution prediction for each frame. In this process, inter- and intra-frames are the key sources for exploiting temporal and spatial information. However, there are a couple of limitations for existing VSR methods. First, optical flow is often used to establish temporal correspondence. But flow estimation itself is error-prone and affects recovery results. Second, similar patterns existing in natural images are rarely exploited for the VSR task. Motivated by these findings, we propose a temporal multi-correspondence aggregation strategy to leverage similar patches across frames, and a cross-scale nonlocal-correspondence aggregation scheme to explore self-similarity of images across scales. Based on these two new modules, we build an effective multi-correspondence aggregation network (MuCAN) for VSR. Our method achieves state-of-the-art results on multiple benchmark datasets. Extensive experiments justify the effectiveness of our method.

연구 동기 및 목표

• 비디오 초해상도에서 광학 흐름 기반 운동 추정의 한계를 해결하기 위해, 오차 발생 가능성이 높고 정렬 오류에 민감한 문제를 해결하고자 한다.
• 자연 이미지 내에서 프레임 간 및 스케일 간 유사 패치를 활용하여 프레임 간 및 프레임 내 대응 관계를 효과적으로 활용하고자 한다.
• 단일 픽셀 대응에 의존하는 것 대신, 다중 대응 특징을 집적하여 고해상도 비디오 재구성 성능을 향상시키고자 한다.
• 새로운 엣지 인식 손실 함수를 통해 재구성된 프레임의 엣지 품질을 향상시키고자 한다.
• 실세계 비디오 데이터에 잘 일반화되는 경량이며 엔드 투 엔드 학습 가능한 네트워크를 개발하고자 한다.

제안 방법

• 각 픽셀에 대해 프레임 간 최상위-K 유사 특징 패치를 식별하는 시간적 다중 대응 집적 모듈(TM-CAM)을 제안하여, 광학 흐름에 의존하지 않고도 강인한 운동 보정을 가능하게 한다.
• TM-CAM 내에서 픽셀 적응형 집적 전략을 도입하여 유사성과 공간 일관성을 기반으로 다중 대응 후보를 동적으로 가중한다.
• 단일 프레임 내 다양한 특징 스케일 간 자가유사성을 활용하기 위해 크로스 스케일 비국소 대응 집적 모듈(CN-CAM)을 설계하여 세부 정보 복원 성능을 향상시킨다.
• CN-CAM에서 학습 가능한 비국소 주의 메커니즘을 활용하여 스케일 간 유사한 비국소 영역의 특징을 집적함으로써 질감 및 구조 복원 성능을 향상시킨다.
• 학습 중 엣지 영역을 강조하는 엣지 인식 손실(EAL)을 도입하여 출력 이미지의 고주파 세부 정보가 더 선명하고 정확하게 복원되도록 한다.
• 모든 구성 요소를 엔드 투 엔드 학습 가능한 네트워크(MuCAN)에 통합하여 정렬, 특징 집적, 재구성 과정을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 비디오 초해상도에서 단일 픽셀 광학 흐름 추정 대비, 다중 대응 패치를 활용하면 운동 보정의 강인성이 향상되는가?
• RQ2 단일 프레임 내 다양한 공간 스케일 간 자가유사성을 활용하면 재구성된 고해상도 비디오 프레임의 품질이 향상되는가?
• RQ3 다중 대응 집적 전략은 운동 추정 오차에 대한 민감도를 감소시키고 도전적인 비디오 시퀀스에서의 성능을 향상시키는가?
• RQ4 크로스 스케일 비국소 대응 집적 모듈의 통합은 미세한 질감 및 구조적 세부 정보 복원에 어떤 영향을 미치는가?
• RQ5 엣지 인식 손실은 초해상도 비디오 프레임의 엣지 선명도와 주관적 품질 향상에 어느 정도 기여하는가?

주요 결과

• MuCAN은 ×4 설정에서 이전 SOTA 방법 대비 최소 0.17dB 향상된 PSNR 성능을 보이며, REDS 데이터셋에서 최신 기술 수준 성능을 달성한다.
• Vimeo-90K 데이터셋에서 MuCAN은 DUF 대비 RGB 채널에서 1.2dB, RBPN 대비 Y 채널에서 0.25dB 향상된 PSNR 성능을 기록한다.
• 크로스 스케일 비국소 대응 집적 모듈(CN-CAM)은 PSNR를 0.12dB 향상시키며, 창문과 건물과 같은 반복 패턴에서 뛰어난 세부 정보 복원 성능을 보여준다.
• 엣지 인식 손실(EAL)은 시각적 비교 및 REDS 데이터셋의 정량적 지표를 통해 더 선명하고 정교한 엣지를 유도함을 확인하였다.
• MuCAN은 실세계 비디오 데이터에 잘 일반화되어 시각적 잡음 없이 일관된 결과를 생성하며, EDVR는 분포 이탈 상황에서 성능 저하를 보였다.
• 절단 분석 결과, TM-CAM과 CN-CAM 모두 성능 향상에 기여하며, 특히 TM-CAM이 운동 추정 오차에 대해 강인함을 입증하였다.