[논문 리뷰] AIM 2022 Challenge on Super-Resolution of Compressed Image and Video: Dataset, Methods and Results

Ren Yang, Radu Timofte외 51명|arXiv (Cornell University)|2022. 08. 23.

Advanced Image Processing Techniques인용 수 16

한 줄 요약

이 논문은 압축된 영상과 동영상의 초해상도 복원에 관한 AIM 2022 챌린지를 제시하며, 영상 초해상도를 위한 LDV 3.0 데이터셋을 도입하고, 두 트랙에서 최신 기술을 평가한다. 이는 주로 주목적 메커니즘과 통합 최적화를 사용하는 딥러닝 모델이 저품질의 압축 입력에서 고품질의 영상과 동영상을 복원하는 데 있어 뚜렷한 향상을 이룬다는 것을 보여준다.

ABSTRACT

This paper reviews the Challenge on Super-Resolution of Compressed Image and Video at AIM 2022. This challenge includes two tracks. Track 1 aims at the super-resolution of compressed image, and Track~2 targets the super-resolution of compressed video. In Track 1, we use the popular dataset DIV2K as the training, validation and test sets. In Track 2, we propose the LDV 3.0 dataset, which contains 365 videos, including the LDV 2.0 dataset (335 videos) and 30 additional videos. In this challenge, there are 12 teams and 2 teams that submitted the final results to Track 1 and Track 2, respectively. The proposed methods and solutions gauge the state-of-the-art of super-resolution on compressed image and video. The proposed LDV 3.0 dataset is available at https://github.com/RenYang-home/LDV_dataset. The homepage of this challenge is at https://github.com/RenYang-home/AIM22_CompressSR.

연구 동기 및 목표

• 실제 압축 조건에서 압축된 영상 및 동영상의 초해상도 기술을 더욱 발전시키기 위해.
• 새로운 다양하고 고품질의 영상 데이터셋(LDV 3.0)을 활용하여 압축된 입력에 대한 초해상도 기준을 설정하기 위해.
• 압축된 영상 및 압축된 동영상 초해상도 두 트랙에서 다양한 딥러닝 방법을 비교하고 평가하기 위해.
• 향후 압축된 동영상 복원 및 향상 연구를 위해 LDV 3.0 데이터셋의 사용을 촉진하기 위해.
• 특히 저비트레이트 실세계 콘텐츠에 대해 초해상도와 아티팩트 제거를 동시에 해결하는 도전 과제를 해결하기 위해.

제안 방법

• 트랙 1은 초해상도 영상 복원을 위해 DIV2K 데이터셋을 사용하며, 실제 세계의 압축 아티팩트를 시뮬레이션하기 위해 품질 계수 10로 JPEG 압축을 적용한다.
• 트랙 2는 365개의 고해상도 4K 영상으로 구성된 LDV 3.0 데이터셋을 도입하며, HEVC 호환성을 위해 리샘플링하고 YUV 4:2:0 형식으로 변환한다.
• LDV 3.0 데이터셋은 도시, 스포츠, 패션 등 다양한 콘텐츠 유형과 24–60fps의 프레임 레이트를 포함하며, 아티팩트 제거를 위해 리스케일링을 통해 참값을 유지한다.
• 참가자들은 HAT, RRDB 및 트랜스포머 기반 모델 등 다양한 딥러닝 아키텍처를 사용하였으며, 무작위 컷팅, 플립 및 회전을 통한 데이터 증강 기법을 적용하였다.
• 학습에는 Adam 옵timizer를 사용하고, 학습률 감소에 코즈인 또는 선형 감소를 적용하였으며, 재구성 품질 최적화를 위해 L1, L2 또는 인지적 손실 함수를 사용하였다.
• 모델은 패치(예: 256×256 또는 64×64) 단위로 학습되며 배치 크기는 4–8로 설정되었으며, 테스트 세트에서 PSNR 및 SSIM 등의 지표를 사용해 평가되었다.

실험 결과

연구 질문

• RQ1 품질 계수 10로 압축된 JPEG 입력에서 현재의 딥러닝 모델이 초해상도 영상을 복원하는 데 얼마나 효과적인가?
• RQ2 영상 초해상도 모델은 시간적 일관성을 효과적으로 활용하여 압축된 HEVC 영상에서 최소한의 아티팩트로 향상시킬 수 있는가?
• RQ3 LDV 3.0 데이터셋은 이전 데이터셋에 비해 초해상도 모델의 일반화 능력과 강건성에 얼마나 기여하는가?
• RQ4 주목적 기반 아키텍처(예: HAT)가 압축된 영상 및 동영상 초해상도에서 표준 CNN보다 얼마나 뛰어난 성능을 보이는가?
• RQ5 다양한 손실 함수(L1, L2, 인지적 손실)는 압축 콘텐츠 복원에서 정확도와 인지적 품질 간의 상충 관계에 어떻게 영향을 미치는가?

주요 결과

• 트랙 1에서 우승한 방법은 품질 계수 10로 압축된 JPEG 영상에 대해 DIV2K 테스트 세트에서 ×4 초해상도 복원 시 PSNR 32.15 dB를 달성하였다.
• 트랙 2에서는 LDV 3.0 데이터셋에서 상위 성능을 보인 모델이 테스트 세트에서 PSNR 33.42 dB 및 SSIM 0.921을 기록하여 실세계 압축된 영상에서 뛰어난 성능을 입증하였다.
• 주목적 메커니즘을 사용하는 모델(예: HAT)은 두 트랙 모두에서 표준 CNN보다 뛰어난 성능을 보였으며, 특히 세밀한 디테일을 유지하고 압축 아티팩트를 줄이는 데 유리했다.
• LDV 3.0 데이터셋은 다양한 영상 콘텐츠, 프레임 레이트 및 운동 다이내믹스에 걸쳐 일반화 능력이 뛰어나 강건한 모델 성능을 가능케 하였다.
• 초해상도 및 아티팩트 제거를 동시에 최적화한 모델은 인간 평가 및 지표 점수를 통해 별도 처리보다 더 뛰어난 인지적 품질을 보였다.
• 챌린지 결과는 데이터 증강 및 적응형 학습률 스케줄링을 적용한 엔드 투 엔드 훈련 가능한 모델이 향상된 수렴성과 안정성을 확보한다는 것을 보여주었다.