[논문 리뷰] Video Super-resolution with Temporal Group Attention

Takashi Isobe, Songjiang Li외 7명|arXiv (Cornell University)|2020. 07. 21.

Advanced Image Processing Techniques참고 문헌 35인용 수 9

한 줄 요약

이 논문은 시간적 그룹 어텐션(TGA)을 사용한 비디오 슈퍼레졸루션 방법을 제안하며, 다양한 프레임 레이트로 입력 프레임을 서브시퀀스로 그룹화하여 계층적으로 시공간 특징을 융합한다. 모델은 어텐션 메커니즘을 활용해 그룹 간 보완적인 정보를 적응적으로 통합하고, 큰 운동을 처리하기 위해 빠른 공간 정렬(FSA) 모듈을 도입하여 Vid4 및 Vimeo-90K-T 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Video super-resolution, which aims at producing a high-resolution video from its corresponding low-resolution version, has recently drawn increasing attention. In this work, we propose a novel method that can effectively incorporate temporal information in a hierarchical way. The input sequence is divided into several groups, with each one corresponding to a kind of frame rate. These groups provide complementary information to recover missing details in the reference frame, which is further integrated with an attention module and a deep intra-group fusion module. In addition, a fast spatial alignment is proposed to handle videos with large motion. Extensive results demonstrate the capability of the proposed model in handling videos with various motion. It achieves favorable performance against state-of-the-art methods on several benchmark datasets.

연구 동기 및 목표

• 운동 보정에 정확하지 않은 광학 흐름에 의존하는 기존 비디오 슈퍼레졸루션 방법의 한계를 해결하기 위해.
• 계층적이고 프레임 레이트 인식 그룹 전략을 통해 보완적인 시간 정보를 활용해 프레임 간 특징 융합을 향상시키기 위해.
• 빠른 공간 정렬(FSA) 방법을 통해 큰 운동이 있는 비디오에서 계산 비용을 줄이고 왜곡을 감소시키기 위해.
• 각 그룹에서 기준 프레임의 역할을 명시적으로 모델링하여 더 나은 세부 사항 복구를 위한 슈퍼레졸루션 성능 향상시키기 위해.

제안 방법

• 입력 비디오 시퀀스가 여러 그룹으로 나뉘며, 각 그룹은 다른 프레임 레이트를 나타내어 기준 프레임에 대한 보완적인 시간 정보를 제공한다.
• 기준 프레임에 대한 관련성에 따라 그룹 간 특징을 동적으로 가중하고 통합하기 위해 어텐션 모듈이 적용된다.
• 각 그룹 내에서 국소적 시공간 표현을 추출하기 위해 3D 밀도 블록을 사용해 그룹 내 특징 융합이 수행된다.
• 그룹 간 특징 융합은 2D 밀도 블록을 통해 달성되며, 이는 장거리 시간적 모델링을 향상시킨다.
• 특징 추출 이전에 프레임을 사전 정렬하기 위해 호모지어피 기반의 빠른 공간 정렬(FSA) 방법이 도입되어 큰 운동으로 인한 왜곡을 줄인다.
• 전체 네트워크는 끝에서 끝까지의 방식으로 훈련되어 개선된 세부 사항과 시간적 일관성을 갖는 고해상도 프레임을 재구성한다.

실험 결과

연구 질문

• RQ1 균일한 프레임 샘플링과 비교해, 서로 다른 프레임 레이트로 비디오 프레임을 그룹화하는 것이 슈퍼레졸루션에서 누락된 세부 사항 복구에 도움이 되는가?
• RQ2 각 그룹 내에서 기준 프레임을 포함시키는 것이 모델이 보완적인 시간적 특징을 학습하는 데 미치는 영향은 무엇인가?
• RQ3 큰 운동 조건에서 호모지어피 기반의 빠른 공간 정렬 방법이 성능과 효율성 측면에서 광학 흐름 기반 정렬을 능가하는가?
• RQ4 제안된 시간적 그룹 어텐션 메커니즘이 다양한 시간 그룹 간 특징 통합을 얼마나 향상시키는가?
• RQ5 그룹화된 특징의 계층적 융합이 기존의 3D 컨볼루션 또는 DUF와 같은 동적 필터 기반 방법보다 더 나은 성능을 내는가?

주요 결과

• 제안된 TGA 모델은 Vid4 데이터셋에서 PSNR 27.59 dB, SSIM 0.8419를 기록하여 이전 최신 기술 수준의 방법들을 능가한다.
• Vimeo-90K-T 벤치마크에서 모델은 PSNR 37.59 dB, SSIM 0.9516를 달성하여 최신 기술 수준의 성능을 입증한다.
• 제거 실험 결과, 기준 프레임을 포함한 그룹(예: {345,246,147})은 기준 그룹 {123,345,567} 대비 PSNR을 0.41 dB 향상시킨다.
• 그룹 어텐션 모듈을 제거하면 Vid4에서 성능이 0.2 dB, Vimeo-90K-T에서 0.15 dB 감소하여 그 중요성을 확인한다.
• 빠른 공간 정렬(FSA) 방법은 Vimeo-90K-T에서 PSNR를 37.32 dB에서 37.59 dB로 향상시키며, PyFlow 대비 시간 소모를 90% 이상 감소시킨다.
• 어텐션 맵의 시각화 결과, 한 그룹이 가림을 입을 경우 모델이 다른 그룹으로 초점을 이동시키며 적응적으로 정보를 빌리는 것을 확인할 수 있다.