[논문 리뷰] NTIRE 2021 Challenge on Quality Enhancement of Compressed Video: Methods and Results

Ren Yang, Radu Timofte외 70명|arXiv (Cornell University)|2021. 04. 21.

Advanced Image Processing Techniques참고 문헌 66인용 수 4

한 줄 요약

이 논문은 압축 영상 품질 향상에 대한 NTIRE 2021 챌린지를 제시하며, 대규모 다양성 영상(LDV) 데이터셋을 도입하고, 세 가지 트랙에서 482개의 제출물을 평가한다: 고정 QP에서의 정밀도 향상(트랙 1 및 3)과 고정 비트레이트에서의 인지적 품질 향상(트랙 2). 시공간 네트워크를 활용한 최신 기술로, 게이팅 퓨전, 탈형 변형 컨볼루션, 다중 척도 주의 메커니즘을 적용하여, 상위 팀들은 PSNR를 최대 38.31 dB까지 향상시키고 MS-SSIM를 0.956 이상으로 확보하였다.

ABSTRACT

This paper reviews the first NTIRE challenge on quality enhancement of compressed video, with a focus on the proposed methods and results. In this challenge, the new Large-scale Diverse Video (LDV) dataset is employed. The challenge has three tracks. Tracks 1 and 2 aim at enhancing the videos compressed by HEVC at a fixed QP, while Track 3 is designed for enhancing the videos compressed by x265 at a fixed bit-rate. Besides, the quality enhancement of Tracks 1 and 3 targets at improving the fidelity (PSNR), and Track 2 targets at enhancing the perceptual quality. The three tracks totally attract 482 registrations. In the test phase, 12 teams, 8 teams and 11 teams submitted the final results of Tracks 1, 2 and 3, respectively. The proposed methods and solutions gauge the state-of-the-art of video quality enhancement. The homepage of the challenge: https://github.com/RenYang-home/NTIRE21_VEnh

연구 동기 및 목표

• 다양한 압축 조건 하에서 대규모이고 다양한 영상 데이터셋을 활용해 영상 품질 향상의 기준을 설정하기 위해.
• 압축 영상에서 정밀도(PSNR)와 인지적 품질 향상 방법을 평가하기 위해.
• 고정 QP와 고정 비트레이트 압축 설정에서 최신 기술 접근법을 비교하기 위해.
• 영상 복원 연구를 위해 새로 도입된 대규모 다양성 영상(LDV) 데이터셋의 사용를 촉진하기 위해.
• 통합적이고 다양한, 도전적인 테스트 세트를 기반으로 한 표준화된 평가를 가능하게 하여 분야를 발전시키기 위해.

제안 방법

• 세 트랙 챌린지 프레임워크를 제안: 트랙 1과 3은 각각 고정 QP와 고정 비트레이트에서 정밀도 향상을 목표로 하며, 트랙 2는 인지적 품질 향상을 목표로 한다.
• 240개의 영상로 구성된 대규모 다양성 영상(LDV) 데이터셋을 사용하였으며, 10개의 장면 카테고리에 걸쳐 운동, 프레임 레이트, 조명, 카메라 안정성 등의 다양성을 포함한다.
• 영상 시퀀스 내의 공간적 및 시간적 상관관계를 활용하기 위해 게이팅 퓨전 메커니즘을 적용한 시공간 컨볼루션 네트워크를 사용하였다.
• 운동과 압축 아티팩트를 더 잘 다루기 위해 탈형 변형 컨볼루션과 다중 척도 특징 추출 기법을 통합하였다.
• 학습 안정성과 일반화 능력을 향상시키기 위해 점진적 정렬 및 데이터 증강 기법을 적용하였다.
• 다중 프레임 잔여 학습 및 영상 향상에서의 특징 정제를 위해 3D 컨볼루션 및 U-Net 기반 아키텍처를 활용하였다.

실험 결과

연구 질문

• RQ1 시공간 딥 러닝 모델은 높은 정밀도와 인지적 품질을 갖춘 압축 영상 복원에 얼마나 효과적인가?
• RQ2 다중 척도 및 주의 기반 아키텍처는 압축 영상에서 아티팩트 억제에 얼마나 기여하는가?
• RQ3 LDV 데이터셋의 콘텐츠, 운동, 프레임 레이트의 다양성이 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ4 다양한 네트워크 설계(예: 게이팅 퓨전, 탈형 변형 컨볼루션, 3D 컨볼루션)는 영상 품질 향상에서 상대적으로 어떤 성능을 보이는가?
• RQ5 통합된 모델은 고정 QP와 고정 비트레이트 압축 환경 간에 일반화될 수 있는가?

주요 결과

• 트랙 1(고정 QP에서의 정밀도 향상)에서 상위 성능을 기록한 방법은 PSNR 38.31 dB를 달성하여 기준 방법보다 뚜렷이 뛰어났다.
• 트랙 2(인지적 품질)에서는 최상위 방법이 MS-SSIM 0.9562를 기록하여 원본 영상과 높은 인지적 유사도를 확보하였다.
• 트랙 3(고정 비트레이트)에서는 여러 상위 팀이 PSNR 35 dB 이상을 기록하여 비트레이트 제약 조건 하에서도 효과적인 복원 능력을 입증하였다.
• 게이팅 퓨전과 탈형 시간 모델링을 적용한 방법들이 표준 영상 슈퍼레졸루션 기반 방법보다 일관되게 뛰어난 성능을 보였다.
• LDV 데이터셋은 모델의 일반화 능력을 평가하는 데 효과적이었으며, 상위 모델들이 다양한 영상 카테고리에서 높은 성능을 기록하였다.
• 챌린지 결과, 인지적 품질 향상(트랙 2)은 정밀도 기반 향상과 다른 아키텍처 선택이 요구되었으며, 주의 메커니즘이 핵심적인 역할을 하였다.