[논문 리뷰] Convolutional Neural Networks for Video Quality Assessment

Michalis Giannopoulos, Grigorios Tsagkatakis외 6명|arXiv (Cornell University)|2018. 09. 26.

Image and Video Quality Assessment참고 문헌 26인용 수 7

한 줄 요약

이 논문은 HEVC 압축과 네트워크 지연으로 인한 주관적 영상 품질을 예측하기 위해 3D 및 1D 컨volution 신경망을 사용하는 딥러닝 프레임워크를 제안한다. 사용자 생성 콘텐츠에 대한 사용자 레이블링을 적용한 자체 구축 데이터셋을 기반으로 훈련함으로써, 모델은 높은 정확도로 영상 품질을 분류하며, 다수결 투표 패치 집계 전략을 사용할 경우 66.7%의 시퀀스 수준 정확도를 달성하여 복잡한 실제 환경 조건에서 뛰어난 일반화 능력을 보여준다.

ABSTRACT

Video Quality Assessment (VQA) is a very challenging task due to its highly subjective nature. Moreover, many factors influence VQA. Compression of video content, while necessary for minimising transmission and storage requirements, introduces distortions which can have detrimental effects on the perceived quality. Especially when dealing with modern video coding standards, it is extremely difficult to model the effects of compression due to the unpredictability of encoding on different content types. Moreover, transmission also introduces delays and other distortion types which affect the perceived quality. Therefore, it would be highly beneficial to accurately predict the perceived quality of video to be distributed over modern content distribution platforms, so that specific actions could be undertaken to maximise the Quality of Experience (QoE) of the users. Traditional VQA techniques based on feature extraction and modelling may not be sufficiently accurate. In this paper, a novel Deep Learning (DL) framework is introduced for effectively predicting VQA of video content delivery mechanisms based on end-to-end feature learning. The proposed framework is based on Convolutional Neural Networks, taking into account compression distortion as well as transmission delays. Training and evaluation of the proposed framework are performed on a user annotated VQA dataset specifically created to undertake this work. The experiments show that the proposed methods can lead to high accuracy of the quality estimation, showcasing the potential of using DL in complex VQA scenarios.

연구 동기 및 목표

• HEVC 압축과 네트워크 유도 지연이 포함된 실제 환경 조건에서 주관적 영상 품질을 예측하는 데 도전하는 것.
• 비용이 많이 들고 시간이 오래 걸리는 주관적 테스트에 의존도를 줄이기 위한 객관적이고 자동화된 영상 품질 평가(VQA) 방법을 개발하는 것.
• 다양하고 예측할 수 없는 압축 및 전송 조건에서 딥러닝 모델의 영상 품질 분류 성능을 평가하는 것.
• 도전적인 사용자 생성 콘텐츠에서의 강건성과 일반화 능력을 확보하기 위해 모델 아키텍처와 훈련 전략을 최적화하는 것.
• 종합적인 영상 품질 예측에서 분류 정확도 향상을 위한 다양한 레이블 이산화 전략과 집계 방법을 비교하는 것.

제안 방법

• 프레임워크는 두 단계의 CNN 아키텍처를 활용한다: 영상 클립에서 시공간적 특징을 추출하기 위한 3D CNN과, 시퀀스 수준 분류를 위한 1D CNN.
• 두 가지 패치 집계 전략이 평가되었으며, 공간 패치 간 다수결 투표 집계 및 1D CNN 기반 엔드 투 엔드 사전 훈련된 시퀀스 분류 방식이다.
• 연속적인 평균 의견 점수(MOS)는 각각 간격 크기가 1.33, 0.5, 0.25, 0.125인 3개, 5개, 8개, 14개의 클래스로 이산화된다.
• 모델는 HEVC 인코딩과 다양한 네트워크 조건에 노출된 사용자 생성 영상 콘텐츠의 자체 구축 데이터셋에서 훈련 및 평가된다.
• 128과 256 필터를 가진 이중층 3D CNN을 사용한 후, 시퀀스 수준 분류를 위해 64, 128, 256 필터를 가진 3층의 1D CNN을 적용한다.
• 성능 차이의 유의성을 검증하기 위해 통계적 가설 검정을 사용한다.

실험 결과

연구 질문

• RQ1 영상 콘텐츠가 HEVC 압축과 네트워크 지연으로 왜곡될 경우, 딥러닝 기반 접근법이 주관적 영상 품질을 효과적으로 예측할 수 있는가?
• RQ2 다양한 패치 집계 전략(다수결 투표 대비 사전 훈련된 시퀀스 분류)이 영상 품질 분류 정확도에 어떤 영향을 미치는가?
• RQ3 레이블의 세분화 수준이 다양할 경우, CNN 모델 훈련에 최적의 이산 품질 클래스 수는 얼마인가?
• RQ4 레이블 이산화 간격의 크기가 다양한 품질 수준에서 분류 성능에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크는 다양한 인코딩 및 전송 조건에서 도전적인 실제 환경의 사용자 생성 콘텐츠에 대해 잘 일반화되는가?

주요 결과

• 다수결 투표 패치 집계 전략은 동일한 조건에서 66.7%의 시퀀스 수준 분류 정확도를 기록하며, 사전 훈련된 모델 전략을 능가했다.
• 3개의 이산 품질 클래스(간격 크기 1.33)를 사용한 모델가 가장 높은 총합 정확도를 달성했으며, 5개, 8개, 14개 클래스를 사용한 모델보다 뛰어났다.
• 5개 클래스를 사용할 경우, 사전 훈련된 모델 전략이 다수결 투표 전략보다 뛰어난 성능을 보였으며, 이는 세분화 수준과 모델 안정성 사이의 상충 관계를 시사한다.
• 더 작은 이산화 간격(예: 0.125)을 사용할 경우 분류 정확도가 크게 떨어졌으며, 이는 세분화된 분류의 복잡도 증가를 확인한다.
• 모델는 강력한 일반화 능력을 보였으며, 다양한 사용자 생성 영상 콘텐츠와 네트워크 조건에서 일관된 성능을 기록했다.
• 통계적 가설 검정을 통해 전략 간 성능 차이가 유의미하다는 것이 확인되었으며, 이는 다수결 투표 접근법을 최적의 선택으로 지지한다.