[논문 리뷰] A Monte Carlo Study of Pairwise Comparisons

Michael W. Herman, Waldemar W. Koczkodaj|arXiv (Cornell University)|2015. 05. 07.

Multi-Criteria Decision Making참고 문헌 6인용 수 9

한 줄 요약

이 몬테카를로 연구는 일관성 수준이 다양할 때 쌍대비교 행렬을 해결하는 데 있어 기하평균(GM) 및 고유벡터(EV) 방법의 정확도를 평가한다. 4에서 7차의 100만 개의 시뮬레이션된 상호행렬을 사용하여, 유클리드 거리 척도에서는 GM이 EV를 능가하는 것으로 나타났고, 티히비체프 거리 척도에서는 EV가 우월한 것으로 나타났다. 이는 거리 척도에 따라 최적의 성능을 보이는 방법이 다름을 시사한다.

ABSTRACT

Consistent approximations obtained by geometric means ($GM$) and the principal eigenvector ($EV$), turned out to be close enough for 1,000,000 not-so-inconsistent pairwise comparisons matrices. In this respect both methods are accurate enough for most practical applications. As the enclosed Table 1 demonstrates, the biggest difference between average deviations of $GM$ and $EV$ solutions is 0.00019 for the Euclidean metric and 0.00355 for the Tchebychev metric. For practical applications, this precision is far better than expected. After all we are talking, in most cases, about relative subjective comparisons and one tenth of a percent is usually below our threshold of perception.

연구 동기 및 목표

• 쌍대비교 행렬을 해결하는 데 있어 기하평균(GM) 및 고유벡터(EV) 방법의 정확도를 경험적으로 평가하는 것.
• 몬테카를로 시뮬레이션을 통해 상호행렬의 일관성 수준이 해의 정확도에 미치는 영향을 조사하는 것.
• GM 또는 EV 중 어느 한 방법이 다양한 일관성 수준과 거리 척도에서 일관되게 더 정확한 해를 생성하는지 확인하는 것.
• 비일관성 있는 행렬에서 순위 뒤집힘의 실용적 영향과 일관성 있는 해로의 수렴 여부를 검토하는 것.

제안 방법

• 편차 수준 D = 0.1에서 0.5까지 원소를 편향시켜 4에서 7차의 100만 개의 비일관성 있는 상호행렬을 생성하였다.
• 해 벡터를 계산하기 위해 기하평균(GM) 및 고유벡터(EV) 방법을 적용하였고, 합이 1이 되도록 정규화하였다.
• 성분별 나눗셈을 사용하여 해 벡터에서 재구성된 쌍대비교 행렬을 계산하고, 원래 행렬과의 거리를 측정하였다.
• 원래 행렬과 재구성된 행렬 간의 유클리드 거리 및 티히비체프 거리 척도를 사용해 해의 정확도를 측정하였다.
• 고속 계산을 위해 C 프로그래밍 언어를 사용하였으며, 100MHz 펜티엄에서 각 편차 수준당 10분이 소요되었고, 검증을 위해 APL2를 참조로 사용하였다.
• 모든 테스트 케이스에서 GM 대 EV의 승리 빈도와 정확도 차이(diff)를 통해 성능을 평가하였다.

실험 결과

연구 질문

• RQ1 통제된 일관성 수준을 가진 쌍대비교 행렬에 대해 기하평균(GM) 또는 고유벡터(EV) 중 어느 방법이 더 정확한 해를 도출하는가?
• RQ2 유클리드 거리 척도와 티히비체프 거리 척도 중 어떤 척도를 선택하느냐가 GM 및 EV 방법의 상대적 성능에 미치는 영향은 어떠한가?
• RQ3 행렬의 일관성 수준이 낮아질수록 해의 정확도가 향상되는가? 이 경향은 행렬의 차수와 방법에 관계없이 일관되게 나타나는가?
• RQ4 비일관성 있는 행렬에서 순위 뒤집힘은 어느 정도의 빈도로 발생하는가? 그리고 순위 뒤집힘을 일으킬 가능성이 낮아지는 일관성의 임계 수준이 존재하는가?
• RQ5 비일관성 있는 행렬에서 일관성 있는 해로의 통계적 수렴 현상이 관찰될 수 있는가? 이는 GM 및 EV 방법의 실용적 사용을 뒷받침하는가?

주요 결과

• 유클리드 거리 척도를 사용할 경우 기하평균(GM) 방법이 고유벡터(EV) 방법보다 더 정확한 해를 도출하였다.
• 티히비체프 거리 척도를 사용할 경우 고유벡터(EV) 방법이 기하평균(GM) 방법보다 더 뛰어난 성능을 보였다.
• 모든 행렬 차수(4에서 7)에 대해 편차 수준(D)이 감소할수록 해의 정확도가 향상되었으며, 이는 낮은 일관성 수준일수록 더 나은 근사치를 제공함을 시사한다.
• 유클리드 척도에서 GM 방법의 성능 우위는 요소 간 차이를 균형 있게 조정하는 성질 덕분이며, 이는 척도의 균형화 성향과 부합한다.
• 티히비체프 척도에서 EV 방법의 우월성은 원래 행렬과 재구성된 행렬 간 최대 절대차이를 최소화하는 최적화 성질 때문이며, 이는 척도의 특성과 부합한다.
• 어느 한 방법이 항상 유리하다는 분석적 증명은 발견되지 않았으며, 결과적으로 방법 선택은 선택된 거리 척도와 적용 맥락에 따라 달라져야 한다.