[논문 리뷰] Towards Deep Learning Methods for Quality Assessment of Computer-Generated Imagery

Markus Utke, Saman Zadtootaghaj외 2명|arXiv (Cornell University)|2020. 05. 02.

Image and Video Quality Assessment인용 수 4

한 줄 요약

이 논문은 컴퓨터 생성 영상(CGI)에 특화된 딥러닝 기반의 참조가 없는(NR) 비디오 품질 평가 지표를 제안한다. 특히 비디오 게임 콘텐츠를 대상으로 하며, VMAF 점수로 표시된 프레임에 대해 미리 훈련된 Xception 네트워크를 미세조정하여 전이 학습을 활용함으로써 약 ~5,000개의 훈련 프레임으로도 높은 성능을 달성한다. 이는 합성 품질 지표로 훈련된 경우에 컨volutional 네트워크(CNN)가 게임 영상 품질을 효과적으로 예측할 수 있음을 보여준다.

ABSTRACT

Video gaming streaming services are growing rapidly due to new services such as passive video streaming, e.g. Twitch.tv, and cloud gaming, e.g. Nvidia Geforce Now. In contrast to traditional video content, gaming content has special characteristics such as extremely high motion for some games, special motion patterns, synthetic content and repetitive content, which makes the state-of-the-art video and image quality metrics perform weaker for this special computer generated content. In this paper, we outline our plan to build a deep learningbased quality metric for video gaming quality assessment. In addition, we present initial results by training the network based on VMAF values as a ground truth to give some insights on how to build a metric in future. The paper describes the method that is used to choose an appropriate Convolutional Neural Network architecture. Furthermore, we estimate the size of the required subjective quality dataset which achieves a sufficiently high performance. The results show that by taking around 5k images for training of the last six modules of Xception, we can obtain a relatively high performance metric to assess the quality of distorted video games.

연구 동기 및 목표

• 컴퓨터 생성 영상(CGI), 특히 게이밍 콘텐츠에 특화된 딥러닝 기반의 참조가 없는(NR) 비디오 품질 평가 지표를 개발하기 위해.
• 참조 신호에 접근할 수 없는 상황에서 사전 훈련된 컨volutional 네트워크(CNN)를 사용하여 게이밍 영상의 품질 평가가 가능한지 탐구하기 위해.
• 효과적인 전이 학습을 위해 필요한 최적의 CNN 아키텍처, 미세조정 전략, 최소 데이터셋 크기를 규명하기 위해.
• 실제 평균 의견 점수(MOS) 데이터로 전환하기 전에 VMAF 점수를 주관적 품질의 대체 지표로 사용하여 고성능 모델을 얻을 수 있는지 평가하기 위해.

제안 방법

• VMAF 점수를 정답으로 사용하여 약 ~5,000개의 비디오 게임 프레임으로 구성된 데이터셋을 이용해 사전 훈련된 Xception CNN의 마지막 여섯 모듈을 미세조정한다.
• 사전 훈련된 CNN 아키텍처를 컴퓨터 생성 영상 콘텐츠의 특성에 맞게 적응시키기 위해 전이 학습을 적용한다.
• 중복을 줄이면서 모델 성능을 유지하기 위해 매 n번째 프레임(n = 53)을 선택하는 방식으로 데이터 샘플링을 수행한다.
• 다양한 CNN 아키텍처(예: VGG, Xception)와 다양한 수의 미세조정된 레이어(1, 4, 6개 모듈) 간의 성능을 비교한다.
• 프레임 수준 및 비디오 수준의 품질 예측에서 RMSE와 SRCC를 사용하여 모델 성능을 평가한다.
• 일반화 성능 향상을 위해 데이터 증강 전략을 조사하며, 랜덤 크롭핑과 센터 크롭핑을 비교한다.

실험 결과

연구 질문

• RQ1 기계 학습 기반의 품질 평가 방법은 컴퓨터 생성 영상에 적합한가?
• RQ2 사전 훈련된 딥 컨volution 네트워크를 어떻게 재훈련하여 CGI 품질 평가에서 양호한 성능을 낼 수 있는가?
• RQ3 최신 기술 수준의 모델들 중에서 CGI 품질 평가에 가장 우수한 성능을 보이는 사전 훈련된 CNN 아키텍처는 무엇인가?
• RQ4 이 맥락에서 효과적인 전이 학습을 위해 필요한 훈련 데이터의 크기, 즉 프레임 수는 어느 정도인가?

주요 결과

• Xception 네트워크의 마지막 여섯 모듈을 약 5,000개의 프레임으로 훈련시켰을 때, 비디오 수준에서 SRCC 0.987, RMSE 3.11을 기록하여 높은 성능의 지표를 확보하였다.
• Xception 아키텍처는 다른 모델들보다 뛰어난 성능을 보였으며, 5,287개의 프레임(n=53)으로 미세조정했을 때 비디오 수준에서 PCC 0.987, RMSE 3.11의 성능을 달성하였다.
• 미세조정된 모듈 수를 늘일수록 성능 향상이 있었지만, 수익 감소 현상이 발생했고, 더 작은 데이터셋에서는 과적합 위험이 증가하였다.
• 훈련 중 랜덤 크롭핑이 센터 크롭핑보다 더 높은 성능을 보였으며, 이는 더 높은 데이터 다양성이 일반화 성능 향상에 기여함을 시사한다.
• 매 53번째 프레임(n=53)을 사용하는 것이 데이터셋 크기와 모델 성능 사이의 균형을 잘 맞추었으며, 정확도에 유의미한 하락이 없었다.
• 훈련 및 검증 세트에 동일한 게임이 포함되어 있어도 성능 향상이 유의미하게 이루어지지 않아, 이 설정에서 도메인 오버랩에 대해 강건함을 보였다.