[논문 리뷰] Deep Learning based Full-reference and No-reference Quality Assessment Models for Compressed UGC Videos

Wei Sun, Tao Wang외 3명|arXiv (Cornell University)|2021. 06. 02.

Image and Video Quality Assessment참고 문헌 24인용 수 5

한 줄 요약

이 논문은 압축된 사용자 생성 콘텐츠(UGC) 영상에 대해 전통적인 압축 아티팩트를 초월한 다양한 왜곡을 겪는 영상의 품질을 정확하게 평가하는 데 목적이 있는 딥러닝 기반 영상 품질 평가(VQA) 프레임워크를 제안한다. 이 프레임워크는 완전기준(FR) 및 비기준(NR) 설정 모두에서 컨볼루션 네트워크(CNN)의 다중 수준 특징 융합을 활용한다. 모델은 압축된 UGC VQA 데이터베이스에서 최신 기술 수준(SOTA) 성능을 달성했으며, 주관적 평가에 영감을 받은 시간적 풀링 전략을 통해 구조적/문자적 유사성(FR)과 계층적 특징 통계(NR)를 융합하여 실세계 UGC 벤치마크에서도 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a deep learning based video quality assessment (VQA) framework to evaluate the quality of the compressed user's generated content (UGC) videos. The proposed VQA framework consists of three modules, the feature extraction module, the quality regression module, and the quality pooling module. For the feature extraction module, we fuse the features from intermediate layers of the convolutional neural network (CNN) network into final quality-aware feature representation, which enables the model to make full use of visual information from low-level to high-level. Specifically, the structure and texture similarities of feature maps extracted from all intermediate layers are calculated as the feature representation for the full reference (FR) VQA model, and the global mean and standard deviation of the final feature maps fused by intermediate feature maps are calculated as the feature representation for the no reference (NR) VQA model. For the quality regression module, we use the fully connected (FC) layer to regress the quality-aware features into frame-level scores. Finally, a subjectively-inspired temporal pooling strategy is adopted to pool frame-level scores into the video-level score. The proposed model achieves the best performance among the state-of-the-art FR and NR VQA models on the Compressed UGC VQA database and also achieves pretty good performance on the in-the-wild UGC VQA databases.

연구 동기 및 목표

• 표준 압축 아티팩트를 초월한 다양한 왜곡을 겪는 압축된 사용자 생성 콘텐츠(UGC) 영상의 품질을 정확하게 평가하는 데 도전한다.
• 기존 VQA 모델이 주로 전문급 콘텐츠에 집중하거나 UGC에서 저수준 시각적 특징과 고수준 의미 간의 상호작용을 간과하는 한계를 극복한다.
• 실세계 UGC 영상 품질 평가에서 완전기준(FR) 및 비기준(NR) 설정 모두에서 효과적으로 작동하는 통합된 딥러닝 프레임워크를 개발한다.
• 주관적 평가에 영감을 받은 풀링 전략을 통해 시간적 동적 특성을 품질 평가에 통합하여 인간의 영상 품질 인식 방식을 반영한다.

제안 방법

• 사전 훈련된 CNN 기반 모델의 중간 레이어에서 추출한 특징을 융합하여 품질 인식 특징 표현을 생성함으로써, 저수준 텍스처와 고수준 의미 모두에 민감도를 향상시킨다.
• FR VQA의 경우, 다중 레이어의 특징 맵에서 구조적 및 텍스처 유사성을 계산하여 입력 표현으로 사용한다.
• NR VQA의 경우, 계단식 계층적 융합 전략을 통해 중간 레이어 특징을 융합한 후, 최종 융합 특징 맵의 전역 평균과 표준편차를 계산하여 표현으로 사용한다.
• 완전 연결(FC) 레이어를 사용하여 품질 인식 특징을 프레임 단위의 품질 점수로 회귀한다.
• 주관적으로 유도된 시간적 풀링 전략을 적용하여 프레임 단위 점수를 하나의 영상 단위 품질 점수로 통합한다.
• 학습은 Adam 옵timizer를 사용하며, 초기 학습률은 0.00001, 배치 크기는 6으로 설정하고, V100 GPU에서 수행한다. 훈련 중에는 무작위 컷팅을 통한 데이터 증강 기법을 적용한다.

Fig. 1 : The proposed FR and NR VQA framework. The framework includes the feature extraction module, the quality regression module, and the quality pooling module.

실험 결과

연구 질문

• RQ1 통합된 딥러닝 프레임워크가 압축된 UGC 영상의 품질을 완전기준 및 비기준 설정 모두에서 효과적으로 평가할 수 있는가?
• RQ2 중간 CNN 레이어에서 유도한 다중 수준 특징 융합이 단일 수준 또는 최종 레이어 특징에 비해 품질 평가 성능을 얼마나 향상시키는가?
• RQ3 특징 맵의 구조적 및 텍스처 유사성(FR)과 융합 특징의 전역 통계(NR)가 주관적 영상 품질 인식과 얼마나 상관이 있는가?
• RQ4 주관적으로 유도된 시간적 풀링 전략이 인간 평가 점수를 예측하는 데 있어 표준 풀링 방법보다 우수한가?
• RQ5 제안된 모델이 다양한 촬영 조건과 복잡한 왜곡을 포함한 실세계 UGC 데이터셋으로 일반화되는 정도는 어느 정도인가?

주요 결과

• 제안된 FR VQA 모델은 압축된 UGC VQA 데이터베이스에서 최신 기술 수준(SOTA) 성능을 달성하였으며, SROCC는 0.9215, RMSE는 0.2483을 기록했다.
• KoNViD-1k 데이터셋에서 NR VQA 모델은 SROCC 0.8134, KROCC 0.6201, PLCC 0.8143, RMSE 0.3695를 기록하여 비교된 모든 NR 모델보다 뛰어난 성능을 보였다.
• LIVE-VQC 데이터셋에서 NR 모델은 SROCC 0.7466, PLCC 0.7815를 기록하였으며, 운동을 명시적으로 모델링하지 않았음에도 비교 모델들 중 두 번째로 높은 성능을 기록했다.
• KoNViD-1k와 LIVE-VQC 양쪽 데이터셋에서 BRISQUE, V-BLIINDS, TLVQM, VIDEVAL보다 뛰어난 성능을 보이며, 다양한 UGC 왜곡에 대한 강건성을 입증했다.
• 제거 실험 결과, NR 브랜치에서의 다중 수준 특징 융합 및 계층적 융합 전략이 성능 향상에 필수적임을 확인하였으며, 특히 복잡한 UGC 아티팩트 처리에 유의미한 기여를 했다.
• 주관적으로 유도된 시간적 풀링 전략은 특히 동적 콘텐츠가 포함된 영상에서 주관적 품질 점수와의 상관관계 향상에 기여하였다.

Fig. 2 : The network architecture of the FR feature extraction module.