[논문 리뷰] A Simple Model for Subject Behavior in Subjective Experiments

Zhi Li, Christos G. Bampis외 3명|arXiv (Cornell University)|2020. 04. 05.

Image and Video Quality Assessment참고 문헌 9인용 수 8

한 줄 요약

이 논문은 최대우도추정(MLE)을 사용하여 주관적 품질 실험에서 주관적 편향과 일관성 부족을 동시에 추정하는 확률 모델을 제안한다. 기존의 하드 타당성 기준 방법에 대한 소프트 대안을 제공하며, 일관성에 따라 주관자의 기여도를 가중함으로써 난이도 높은 환경(예: 커뮤니티 기반 실험)에서도 정확성과 강인성을 향상시킨다. 이 방법은 모델 적합도, 신뢰구간의 날카기 정도, 이상치에 대한 내성 면에서 ITU 기준을 초월한다.

ABSTRACT

In a subjective experiment to evaluate the perceptual audiovisual quality of multimedia and television services, raw opinion scores collected from test subjects are often noisy and unreliable. To produce the final mean opinion scores (MOS), recommendations such as ITU-R BT.500, ITU-T P.910 and ITU-T P.913 standardize post-test screening procedures to clean up the raw opinion scores, using techniques such as subject outlier rejection and bias removal. In this paper, we analyze the prior standardized techniques to demonstrate their weaknesses. As an alternative, we propose a simple model to account for two of the most dominant behaviors of subject inaccuracy: bias and inconsistency. We further show that this model can also effectively deal with inattentive subjects that give random scores. We propose to use maximum likelihood estimation to jointly solve the model parameters, and present two numeric solvers: the first based on the Newton-Raphson method, and the second based on an alternating projection (AP). We show that the AP solver generalizes the ITU-T P.913 post-test screening procedure by weighing a subject's contribution to the true quality score by her consistency (thus, the quality scores estimated can be interpreted as bias-subtracted consistency-weighted MOS). We compare the proposed methods with the standardized techniques using real datasets and synthetic simulations, and demonstrate that the proposed methods are the most valuable when the test conditions are challenging (for example, crowdsourcing and cross-lab studies), offering advantages such as better model-data fit, tighter confidence intervals, better robustness against subject outliers, the absence of hard coded parameters and thresholds, and auxiliary information on test subjects. The code for this work is open-sourced at https://github.com/Netflix/sureal.

연구 동기 및 목표

• 하드 코딩된 임계값과 과도하게 엄격한 주관자 기각 방식을 포함한 표준화된 후처리 절차의 한계를 해결한다.
• 통계적 프레임워크 내에서 주관자의 정확도 저하의 두 주요 원인인 편향과 일관성 부족을 통합적으로 모델링한다.
• 신뢰할 수 없거나 주의를 기울이지 않는 주관자의 영향을 완전히 제거하지 않고도 소프트 기각 메커니즘을 제공한다.
• 다양하고 도전적인 실험 조건(예: 커뮤니티 기반 실험 및 다중 실험실 연구)에 적합한 강인하고 파라미터가 없는 추정 방법을 개발한다.
• 편향을 제거하고 일관성에 따라 가중치를 적용한 MOS를 해석 가능한 품질 점수로 제공하며, 더 좁은 신뢰구간과 더 나은 모델-데이터 적합도를 확보한다.

제안 방법

• 각 주관자의 평가 점수를 주관자별 편향(ψ_j)과 일관성 부족(υ_i)을 갖는 정규분포 랜덤 변수로 모델링하고, 자극의 진정한 품질(Δ_i)을 기준으로 한다.
• 모든 관측된 평가 점수에 대해 로그우도 함수 L(θ)를 설정하며, 파라미터로는 ψ_j(주관자 편향), Δ_i(진정한 품질), υ_i(주관자 일관성 부족)를 포함한다.
• 최대우도추정(MLE)을 통해 모든 모델 파라미터를 동시에 추정하며, 데이터 적합도를 극대화하는 방식으로 우도 함수를 최적화한다.
• 수치적 최적화 솔버 두 가지를 구현한다: 최적화를 위한 뉴턴-랩슨(NR) 방법과 더 빠르고 직관적인 교차 투영(Alternating Projection, AP) 솔버.
• AP 솔버는 각 주관자의 기여도를 일관성에 따라 가중함으로써 ITU-T P.913을 일반화하며, 일관성이 떨어지는 주관자의 영향을 효과적으로 줄인다.
• 모델 적합도 평가 및 다른 모델과의 비교를 위해 베이지안 정보 기준(BIC)을 사용하며, 적합도가 뛰어나고 파라미터 수가 적은 모델을 선호한다.

실험 결과

연구 질문

• RQ1 주관자의 행동에 편향과 일관성 부족이 포함될 경우, ITU-R BT.500 및 ITU-T P.913과 같은 표준화된 후처리 절차는 강인성과 모델 적합도 측면에서 어떻게 성능을 보이는가?
• RQ2 편향과 일관성 부족을 동시에 고려하는 통합 통계 모델이 소음이 많거나 도전적인 실험 환경에서 기존 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ3 제안된 MLE 기반 방법은 기존 MOS 추정 방식에 비해 신뢰구간의 날카기 정도와 모델-데이터 적합도를 얼마나 향상시키는가?
• RQ4 제안된 방법은 주의를 기울이지 않는 주관자가 무작위 점수를 제출할 경우 어떻게 대처하는가? 기존의 임계값 기반 방법의 과도한 기각 문제를 피할 수 있는가?
• RQ5 교차 투영(AP) 솔버는 하드 코딩된 임계값이 없는 한계를 고려할 때, 이전의 솔버들보다 더 효과적이고 일반화 능력이 뛰어난가?

주요 결과

• 제안된 모델은 BIC로 측정된 모델-데이터 적합도에서 ITU-R BT.500 및 ITU-T P.913보다 유의미하게 뛰어나며, 특히 고노이즈 조건에서 두드러진다.
• 제안된 방법에서는 추정된 품질 점수의 신뢰구간이 더 좁아서 추정 정밀도가 높고 결과에 대한 신뢰도가 높다는 것을 시사한다.
• 이 방법은 주관자 이상치에 대해 뛰어난 강인성을 보이며, 주의를 기울이지 않는 또는 일관성이 떨어지는 주관자의 수가 증가할수록 표준 방법보다 추정된 품질 점수의 제곱근 평균 제곱오차(RMSE) 증가율이 더 느리게 나타난다.
• 교차 투영(AP) 솔버는 일관성 가중 MOS 추정을 도입함으로써 ITU-T P.913을 일반화하며, 데이터를 기각하지 않고도 일관성이 떨어지는 주관자의 영향을 효과적으로 줄인다.
• AP 솔버는 하드 코딩된 임계값이나 파라미터가 필요 없어, 커뮤니티 기반 실험 및 다중 실험실 연구와 같은 다양한 실험 조건에 더 잘 적응할 수 있다.
• 합성 데이터 검증을 통해 MLE 기반 솔버가 정확히 진정한 파라미터를 복원함을 확인하였으며, 이는 방법의 수치적 신뢰성과 수렴 성질을 입증한다.