[논문 리뷰] Exploring Video Quality Assessment on User Generated Contents from Aesthetic and Technical Perspectives

Haoning Wu, Zhang, Erli외 7명|arXiv (Cornell University)|2022. 11. 09.

Image and Video Quality Assessment인용 수 5

한 줄 요약

이 논문은 사용자 생성 콘텐츠(UKC)를 위한 첫 번째 객관적 영상 품질 평가 모델인 DOVER와 DOVER++를 제안하며, 미학적 품질과 기술적 품질 인식을 명시적으로 분리한다. 새로운 대규모 데이터셋(DIVIDE-3k)을 활용하여 450만 건의 다중 시점 품질 평가 의견을 확보한 DOVER는 시점별 인덕티브 바이어스를 가진 이중 브랜치 아키텍처와 주관적으로 영감을 받은 융합 기법을 통해 최신 기술 성능을 달성하며, 동시에 분리된 신뢰할 수 있는 평가가 가능하게 하여 이전 방법들보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

The rapid increase in user-generated-content (UGC) videos calls for the development of effective video quality assessment (VQA) algorithms. However, the objective of the UGC-VQA problem is still ambiguous and can be viewed from two perspectives: the technical perspective, measuring the perception of distortions; and the aesthetic perspective, which relates to preference and recommendation on contents. To understand how these two perspectives affect overall subjective opinions in UGC-VQA, we conduct a large-scale subjective study to collect human quality opinions on overall quality of videos as well as perceptions from aesthetic and technical perspectives. The collected Disentangled Video Quality Database (DIVIDE-3k) confirms that human quality opinions on UGC videos are universally and inevitably affected by both aesthetic and technical perspectives. In light of this, we propose the Disentangled Objective Video Quality Evaluator (DOVER) to learn the quality of UGC videos based on the two perspectives. The DOVER proves state-of-the-art performance in UGC-VQA under very high efficiency. With perspective opinions in DIVIDE-3k, we further propose DOVER++, the first approach to provide reliable clear-cut quality evaluations from a single aesthetic or technical perspective. Code at https://github.com/VQAssessment/DOVER.

연구 동기 및 목표

• 사용자 생성 콘텐츠(UKC) 영상에서 미학적 및 기술적 시점이 인간의 품질 인식에 어떻게 함께 영향을 미치는지 조사하는 것.
• 전체 품질을 단일 스코어로 간주하는 것이 아니라, 미학적 및 기술적 시점을 모두 반영하는 객관적 영상 품질 평가(VQA) 방법을 개발하는 것.
• 분리된 VQA 연구를 지원하기 위해, 두 시점에서의 450만 건의 주관적 품질 평가 의견을 포함한 새로운 벤치마크 데이터셋 DIVIDE-3k를 구축하는 것.
• 개인의 차이를 모델링하여, 품질 판단에서 미학적 요소와 기술적 요소의 상대적 가중치가 어떻게 달라지는지에 따라 개인 맞춤형 품질 평가를 가능하게 하는 것.
• 특정 응용 분야에서 분리된 미학적 또는 기술적 지표가 필요할 경우를 고려해, 첫 번째로 신뢰할 수 있고 단일 시점 기반의 품질 평가 프레임워크(DOVER++)를 제공하는 것.

제안 방법

• 특정 시점에 맞는 입력, 정규화 및 사전 훈련 전략을 설계하여 영상의 미학적 및 기술적 정보를 분리하는 '뷰 디컴포지션' 전략을 제안한다.
• 이중 브랜치 네트워크 아키텍처를 설계하며, 하나의 브랜치는 미학적 품질(예: 콘텐츠, 구성)에 집중하고 다른 브랜치는 기술적 품질(예: 블러, 아티팩트)에 집중하며, 각각에 맞는 맞춤형 인덕티브 바이어스를 적용한다.
• DIVIDE-3k 데이터셋에서 관찰된 인간의 가중치 패턴을 바탕으로 두 브랜치 예측을 주관적으로 영감을 받은 방식으로 융합하여 최종 전체 품질 스코어를 생성한다.
• 기존의 UKC-VQA 데이터셋에서의 전체 품질 스코어와 DIVIDE-3k에서의 분리된 미학/기술적 스코어를 활용한 다중 작업 감독으로 DOVER를 훈련시킨다.
• 적응형 융합 가중치를 허용함으로써 단일 시점 품질 평가가 가능한 DOVER++를 확장하여 제안한다.
• 직접적인 MOS 레이블이 없는 상황에서도 분리된 품질 예측을 감독하기 위해 새로운 손실 항목 $\mathcal{L}_{\mathrm{DS}}$ 를 도입한다.

실험 결과

연구 질문

• RQ1 사용자 생성 영상에서 미학적 및 기술적 시점이 인간의 전체 품질 평가에 얼마나 함께 영향을 미치는가?
• RQ2 딥 러닝 모델이 효과적으로 미학적 및 기술적 품질 인식을 분리하여 전체 VQA 성능을 향상시킬 수 있는가?
• RQ3 다양한 개인 간에 미학적 요소와 기술적 요소의 상대적 영향력은 어떻게 달라지며, 이를 개인 맞춤형 품질 평가에 모델링할 수 있는가?
• RQ4 분리된 미학적 및 기술적 평가 의견에 대해 명시적으로 감독하는 것이 엔드 투 엔드 감독만으로는 달성할 수 없는 더 나은 전체 품질 예측 성능을 이끌 수 있는가?
• RQ5 한 개의 모델이 신뢰할 수 있고 고립된 방식으로 미학적 또는 기술적 품질 평가를 제공할 수 있는가? 이는 특정 응용 분야에서의 활용 가능성을 높인다.

주요 결과

• 450만 건의 주관적 평가 의견을 포함한 DIVIDE-3k 데이터셋을 통해 확인된 lin, 사용자 생성 영상에서 인간의 품질 인식은 반드시이고 일반적으로 미학적 및 기술적 시점의 영향을 받는다.
• DOVER는 표준 UKC-VQA 벤치마크에서 최신 기술 성능을 달성하였으며, LSVQ 테스트에서 SROCC 0.888, LSVQ 1080p에서 0.795, KoNViD-1k에서 0.884, LIVE-VQC에서 0.832를 기록하였다.
• 제거 실험 결과, 뷰 디컴포지션 전략이 필수적임을 입증하였으며, 이를 제거하면 LSVQ 테스트에서 SROCC가 0.859로 떨어져 성능이 2.9% 감소함을 확인하였다.
• DOVER++는 직접적인 미학/기술적 MOS 레이블이 없더라도 분리된 감독($\mathcal{L}_{\mathrm{DS}}$)을 통합함으로써 기존 기준 대비 1%의 성능 향상을 달성하였다.
• DOVER의 주관적으로 영감을 받은 융합 전략은 단순한 합산 융합이나 단일 브랜치 예측보다 뚜렷하게 뛰어난 성능을 보였으며, 이는 모델이 인간의 인지 메커니즘과 잘 일치함을 검증한다.
• DOVER++는 융합 가중치를 적응적으로 조정함으로써 개인 맞춤형 품질 평가가 가능하며, 이는 추론 연구에서 관찰된 바와 같이 다양한 사용자 집단이 미학적 요소와 기술적 요소에 대해 서로 다른 중요도를 부여한다는 점을 입증한다.