[논문 리뷰] A different perspective on a scale for pairwise comparisons

J. Fueloep, Waldemar W. Koczkodaj외 1명|arXiv (Cornell University)|2015. 08. 05.

Multi-Criteria Decision Making참고 문헌 33인용 수 24

한 줄 요약

이 논문은 쌍대 비교에서 1–3 척도를 사용하는 데로의 범주 전환을 제안하며, 더 작은 척도가 일관성 부족을 줄이고 인간의 인지적 한계를 더 잘 반영한다고 주장한다. 볼록성과 일관성 지표에 기반한 수학적 분석을 통해, 1–5나 1–9와 같은 더 큰 척도보다 1–3 척도가 주관적 오차를 최소화하고 집단 지능 응용 분야에서의 사용성 향상에 더 강력한 이론적·실용적 이점을 제공한다는 것을 입증한다.

ABSTRACT

One of the major challenges for collective intelligence is inconsistency, which is unavoidable whenever subjective assessments are involved. Pairwise comparisons allow one to represent such subjective assessments and to process them by analyzing, quantifying and identifying the inconsistencies. We propose using smaller scales for pairwise comparisons and provide mathematical and practical justifications for this change. Our postulate's aim is to initiate a paradigm shift in the search for a better scale construction for pairwise comparisons. Beyond pairwise comparisons, the results presented may be relevant to other methods using subjective scales. Keywords: pairwise comparisons, collective intelligence, scale, subjective assessment, inaccuracy, inconsistency.

연구 동기 및 목표

• 집단 지능과 의사결정에서 사용되는 주관적 평가의 본질적 일관성 부족 문제를 해결하기 위해.
• 일관성 부족을 악화시킬 수 있는 기존의 큰 척도(예: 1–9) 사용 방식을 도전하며, 이는 정확도 저하와 인지적 부담 증가를 유도할 수 있다.
• 볼록성과 일관성 지표에 기반해, 더 작고 직관적인 척도인 1–3을 수학적·심리학적으로 정당화하기 위해.
• 쌍대 비교의 척도 구성 방식에 대한 범주 전환을 이끌어내며, 단순성과 인지적 현실성에 기여하기 위해.
• 최적화, 일관성 측정, 실제 응용 분야에 미치는 척도의 영향에 대한 향후 연구를 장려하기 위해.

제안 방법

• 저자는 일관성 조건인 a_ij * a_jk = a_ik (모든 i,j,k에 대해)를 사용하여 쌍대 비교(PCA) 행렬을 분석함으로써 일관성 있는 행렬을 정의한다.
• Koczkodaj가 처음 제안한 거리 기반 일관성 지표를 사용하여 PCA 행렬의 일관성 부족 정도를 정량화한다.
• 1–3 척도 하에서 일관성 지표의 볼록성 성질을 도출하여, 이 척도가 수학적으로 안정적이고 강건함을 입증한다.
• 이론적 분석을 통해 일관성 최소화에 있어 최적의 척도로 1–3 척도를 지지하는 임계 상수 a₀ ≈ 3.330191을 규명한다.
• 일관성, 인지적 부담, 수학적 해석 가능성 등의 평가 기준을 사용하여 1–3 척도를 기존의 1–5 및 1–9 척도와 비교한다.
• 향후 검증 방법으로 몬테카를로 시뮬레이션을 제안하여 다양한 척도 간 성능을 비교한다.

실험 결과

연구 질문

• RQ1 왜 쌍대 비교에서 더 큰 척도(예: 1–9)를 사용할 경우 더 높은 일관성 부족이 발생하고 사용성이 떨어지는가?
• RQ2 1–3 척도가 더 큰 척도보다 더 안정적이고 일관성이 높다는 점을 수학적으로 정당화할 수 있는가?
• RQ3 임계 상수 a₀ ≈ 3.330191은 쌍대 비교의 최적 척도 크기를 결정하는 데 어떤 역할을 하는가?
• RQ4 다양한 척도 크기에서 일관성 지표는 어떻게 행동하는가? 특히 1–3 척도에서는 볼록성을 보이는가?
• RQ5 더 작은 척도를 사용할 경우 주관적 평가에서 인지적 현실성은 얼마나 향상되고 오류는 얼마나 감소하는가?

주요 결과

• 1–3 척도에서는 일관성 지표에 강력한 볼록성 성질이 나타나, 이는 이 척도의 수학적 강건성과 안정성을 뒷받침한다.
• 이론적 분석을 통해 유도된 임계 상수 a₀ ≈ 3.330191은 1–3 척도의 최적성에 수학적 기반을 제공한다.
• 1–3 척도의 일관성 지표는 '한 단계 이내로 틀어지는 것'이라는 히ュ리스틱과 잘 맞아떨어지며, 일관성 부족의 실용적 수용 가능성을 시사한다.
• 1–9 및 1–5와 같은 더 큰 척도는 인지적 부담 증가와 더 높은 일관성 부족 가능성으로 인해 덜 적합함이 입증된다.
• 이 연구는 더 작은 척도가 주관적 평가에서 의미 없는 수치 정밀도(예: 1–10 척도에서의 통증 수준 평가)의 위험을 줄임을 입증한다.
• 저자는 1–3 척도가 쌍대 비교에 있어 단순성, 인지적 현실성, 수학적 타당성의 더 우수한 균형을 제공한다고 결론 내린다.