[논문 리뷰] A practical guide and software for analysing pairwise comparison experiments

María Pérez‐Ortiz, Rafał Mantiuk|arXiv (Cornell University)|2017. 12. 11.

Image and Video Quality Assessment참고 문헌 36인용 수 49

한 줄 요약

이 논문은 이미지 품질 평가에 중점을 두고, 쌍별 비교 데이터를 분석하기 위한 종합적인 가이드와 오픈소스 MATLAB 툴박스를 제시한다. 이상치 탐지, 신뢰구간, 통계적 검정, 그리고 작은 관찰자 수에서 정확도를 향상시키기 위한 유한거리 사전분포를 포함한 향상된 스케일링 방법을 도입하여, 시뮬레이션과 실제 응용에서 기존 방법보다 뛰어난 성능을 보여준다.

ABSTRACT

Most popular strategies to capture subjective judgments from humans involve the construction of a unidimensional relative measurement scale, representing order preferences or judgments about a set of objects or conditions. This information is generally captured by means of direct scoring, either in the form of a Likert or cardinal scale, or by comparative judgments in pairs or sets. In this sense, the use of pairwise comparisons is becoming increasingly popular because of the simplicity of this experimental procedure. However, this strategy requires non-trivial data analysis to aggregate the comparison ranks into a quality scale and analyse the results, in order to take full advantage of the collected data. This paper explains the process of translating pairwise comparison data into a measurement scale, discusses the benefits and limitations of such scaling methods and introduces a publicly available software in Matlab. We improve on existing scaling methods by introducing outlier analysis, providing methods for computing confidence intervals and statistical testing and introducing a prior, which reduces estimation error when the number of observers is low. Most of our examples focus on image quality assessment.

연구 동기 및 목표

• 인지 실험, 특히 이미지 품질 평가에서 쌍별 비교 데이터를 분석하는 데 발생하는 과제를 해결하기 위해.
• 관찰자 간 또는 실험 세션 간 스케일링의 일관성 부족과 같은 직접 평가 방법의 한계를 극복하기 위해.
• 불확실성 추정치를 포함한 해석 가능한 품질 점수로 쌍별 비교를 스케일링하기 위한 강력하고 접근 가능한 프레임워크를 제공하기 위해.
• 유한거리 사전분포를 사용하여 관찰자 수가 적을 경우 추정 정확도를 향상시키고, 비완전한 설계나 비슷한 선택지 등 실용적 문제를 다루기 위해.

제안 방법

• 쌍별 비교 데이터를 인지적 차이를 나타내는 일차원 품질 척도로 스케일링하기 위해 Thurstone Case V 모델을 사용한다.
• 관찰자 수가 적을 경우 추정 오차를 줄이기 위해 유한거리 사전분포를 적용하여 안정성과 정확도를 향상시킨다.
• 신뢰할 수 없는 관찰자 또는 일관성 없는 응답을 식별하고 제거하기 위해 이상치 탐지를 구현한다.
• 신뢰구간을 계산하고 통계적 검정을 수행하여 품질 점수 차이의 유의성과 신뢰도를 평가한다.
• 데이터 수집 부담을 줄이기 위해 비교를 전략적으로 선택함(예: 품질 척도의 인접 조건)을 통해 비완전한 실험 설계를 지원한다.
• 등분 방법을 통해 비슷한 선택지를 처리하지만, 논문은 이 방법이 편향을 유발하므로 현재 소프트웨어와 함께 사용하는 것을 권장하지 않는다.

실험 결과

연구 질문

• RQ1 어떻게 쌍별 비교 데이터를 의미 있는 품질 점수로 신뢰할 수 있는 불확실성 추정치와 함께 신뢰성 있게 스케일링할 수 있는가?
• RQ2 관찰자 수가 적을 경우 유한거리 사전분포는 추정 정확도에 어떤 영향을 미치는가?
• RQ3 비완전한 실험 설계는 스케일링 결과의 정확도와 정밀도에 어떤 영향을 미치는가?
• RQ4 '선호 없음' 응답(비김)을 允허할 경우의 결과는 무엇이며, 이는 편향과 신뢰구간에 어떤 영향을 미치는가?
• RQ5 이상치 탐지와 통계적 검정은 실제 인지 실험에서 쌍별 비교 분석의 견고성을 향상시킬 수 있는가?

주요 결과

• 유한거리 사전분포의 포함으로 인해, 특히 관찰자 수가 적을 경우 추정 오차가 크게 감소한다.
• 이상치 탐지로 인해 불신뢰할 수 있는 관찰자 응답을 식별하고 제거함으로써 스케일링 결과의 신뢰성이 향상된다.
• 품질 척도의 인접 조건에 집중하는 비완전한 설계는 데이터 수집 노력의 감소와 함께 경쟁 가능한 성능을 달성한다.
• '선호 없음' 옵션을 허용할 경우 신뢰구간은 감소하지만, 추정된 품질 차이에 상당한 음의 편향(과소평가)이 유발된다.
• 몬테카를로 시뮬레이션 결과, 진짜 JOD 거리가 커질수록 RMSE와 신뢰구간이 예상보다 더 빠르게 증가함을 확인하여 척도 범위에 민감함을 보였다.
• 제안된 소프트웨어 툴박스는 이전 컴퓨터 그래픽스 연구 결과를 성공적으로 재현하며, 향후 연구를 위한 강력하고 확장 가능한 플랫폼을 제공한다.