[논문 리뷰] Strategy for Boosting Pair Comparison and Improving Quality Assessment Accuracy

Suiyi Ling, Jing Li외 4명|arXiv (Cornell University)|2020. 10. 01.

Image and Video Quality Assessment참고 문헌 39인용 수 6

한 줄 요약

이 논문은 절대 카테고리 평가(ACR)와 쌍 비교(PC) 데이터를 융합하여 비교 수를 줄이고 정확도를 향상시키는 새로운 주동 샘플링 프레임워크를 제안한다. ACR 데이터를 초기화에 사용하고, 분산 인식 투어스 모델(사례 III)을 적용함으로써, 기존의 PC 또는 ACR만을 사용하는 것보다 더 높은 분별력과 더 낮은 계산 비용을 달성한다.

ABSTRACT

The development of rigorous quality assessment model relies on the collection of reliable subjective data, where the perceived quality of visual multimedia is rated by the human observers. Different subjective assessment protocols can be used according to the objectives, which determine the discriminability and accuracy of the subjective data. Single stimulus methodology, e.g., the Absolute Category Rating (ACR) has been widely adopted due to its simplicity and efficiency. However, Pair Comparison (PC) is of significant advantage over ACR in terms of discriminability. In addition, PC avoids the influence of observers' bias regarding their understanding of the quality scale. Nevertheless, full pair comparison is much more time-consuming. In this study, we therefore 1) employ a generic model to bridge the pair comparison data and ACR data, where the variance term could be recovered and the obtained information is more complete; 2) propose a fusion strategy to boost pair comparisons by utilizing the ACR results as initialization information; 3) develop a novel active batch sampling strategy based on Minimum Spanning Tree (MST) for PC. In such a way, the proposed methodology could achieve the same accuracy of pair comparison but with the compelxity as low as ACR. Extensive experimental results demonstrate the efficiency and accuracy of the proposed approach, which outperforms the state of the art approaches.

연구 동기 및 목표

• 주관적 품질 평가에서 분별력과 효율성의 상충 관계를 해결하기 위해 ACR와 PC 방법론을 융합함으로써 성능 향상을 도모한다.
• 표준 모델에서 일반적으로 손실되는 분산 정보를 복구함으로써, 쌍 비교 데이터 변환의 정확도를 향상시킨다.
• ACR 초기화를 통한 주동 샘플링을 통해 필요한 쌍 비교 수를 줄여 인간의 노력은 최소화하면서도 성능을 유지한다.
• 미세한 인지적 차이가 있는 고품질 멀티미디어 콘텐츠를 위한 더 견고하고 정확한 주관적 데이터 수집 파이프라인을 개발한다.

제안 방법

• ACR 결과로 쌍 비교 행렬을 초기화함으로써 ACR와 PC 데이터를 융합하는 전략을 도입하여 수렴 속도를 향상시키고 시행 수를 감소시킨다.
• 표준 모델에서 손실되는 관찰자 편향과 일관성 없는 정보를 유지하기 위해, 투어스 모델 사례 III를 변형하여 자극의 분산을 복구한다.
• 최소 스패닝 트리(MST)를 활용해 불확실하거나 유사한 쌍을 우선순위로 지정하는 새로운 하이브리드-MST 주동 배치 샘플링 전략을 제안한다.
• ACR 초기화와 분산 인식 모델 업데이트를 동시에 활용하여 샘플링을 이끄는 탐욕스러운 배치 선택 프로세스를 구현한다.
• 각 반복 단계에서 가장 정보가 많은 쌍을 선택하기 위해 기대 개선 기반의 정보 이득 지표를 사용한다.
• 투어스 모델 내 효율적인 파rameter 추정을 위해 일반화된 모멘트 기반 최적화를 통합한다.

실험 결과

연구 질문

• RQ1 ACR 데이터는 주로 쌍 비교 기반 품질 평가의 초기화 및 성능 향상에 효과적으로 활용될 수 있는가?
• RQ2 쌍 비교 데이터에서 분산을 복구함으로써 품질 점수 추정의 정확도는 어느 정도 향상되는가?
• RQ3 MST 기반 주동 배치 샘플링 전략은 분별력을 유지하면서 필요한 비교 수를 줄일 수 있는가?
• RQ4 제안된 융합 프레임워크는 SROCC와 진짜 값과의 일치도 측면에서 최신 기술과 비교해 어떻게 성능을 내는가?

주요 결과

• 스트리밍 영상 데이터셋에서 제안된 프레임워크는 지표와의 일치 비율(0.9883)이 가장 높았으며, TM(0.9848)과 BT(0.9839)를 모두 초월했다.
• 카이스트 데이터셋에서 제안된 방법은 약 10회의 시행 후 기준 모델을 능가했으며, ACR 초기화 시 최초 SROCC는 0.908이었다.
• ACR 초기화 없이 진행한 경우, 모든 데이터셋에서 최초 2회의 시행 동안 SROCC 값이 크게 떨어져 0.2에서 0.4의 범위를 보였다.
• ACR 초기화를 적용함으로써 표준 PC 대비 시행 수를 최대 70%까지 줄일 수 있었으며, 성능은 유지 또는 향상되었다.
• 분산 복구 기능을 갖춘 하이브리드-MST 샘플링 전략은 카이스트, IVC, DIBR, 스트리밍의 네 가지 실세계 데이터셋에서 기준 모델보다 더 높은 SROCC 값을 기록했다.
• 일치도 테스트 결과, 제안된 모델이 복구한 평가 점수가 모든 데이터셋에서 인간의 인지와 가장 일관성이 있었다.