[論文レビュー] A different perspective on a scale for pairwise comparisons

J. Fueloep, Waldemar W. Koczkodaj+1 more|arXiv (Cornell University)|Aug 5, 2015

Multi-Criteria Decision Making参考文献 33被引用数 24

ひとこと要約

本論文は、対比較に1–3スケールを用いるというパラダイム転換を提案し、より小さいスケールが不整合性を低減し、人間の認知的制限をよりよく反映すると主張する。凸性および不整合指標に基づく数学的根拠に基づき、1–5や1–9のような大きなスケールよりも、1–3スケールが、主観的誤差を最小限に抑え、集団知性の応用における使いやすさを向上させるという理論的・実用的優位性を示している。

ABSTRACT

One of the major challenges for collective intelligence is inconsistency, which is unavoidable whenever subjective assessments are involved. Pairwise comparisons allow one to represent such subjective assessments and to process them by analyzing, quantifying and identifying the inconsistencies. We propose using smaller scales for pairwise comparisons and provide mathematical and practical justifications for this change. Our postulate's aim is to initiate a paradigm shift in the search for a better scale construction for pairwise comparisons. Beyond pairwise comparisons, the results presented may be relevant to other methods using subjective scales. Keywords: pairwise comparisons, collective intelligence, scale, subjective assessment, inaccuracy, inconsistency.

研究の動機と目的

• 集団知性や意思決定で用いられる主観的評価に内在する不整合を是正すること。
• 従来の大きなスケール（例：1–9）の使用を疑問視し、誤差と認知的負荷を増大させる可能性があること。
• 凸性および不整合指標に基づき、直感的でより小さいスケール（特に1–3）を採用する数学的・心理的根拠を提供すること。
• 対比較のスケール構築におけるパラダイム転換を促進し、単純さと認知的現実性を重視すること。
• 最適化、不整合測定、実世界の応用におけるスケールの影響に関するさらなる研究を促すこと。

提案手法

• 著者たちは、すべての i,j,k に対して a_ij × a_jk = a_ik を満たすことで一貫性を持つ行列として定義される一貫性条件を用いて、対比較（PC）行列を分析する。
• Koczkodajが提唱した元の距離に基づく不整合指標を用い、PC行列内の不整合を定量化する。
• 1–3スケール下での不整合指標の凸性の性質を導出し、数学的安定性と頑健性を示す。
• 理論的分析により、不整合を最小限に抑える点で最適であるとされる臨界定数 a₀ ≈ 3.330191 を同定する。
• 一貫性、認知的負荷、数学的取り扱いやすさを評価基準として、1–3スケールと既存の1–5および1–9スケールを比較する。
• 将来の検証手法として、モンテカルロシミュレーションを提案し、スケール間での性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 なぜ対比較における大きなスケール（例：1–9）は、不整合性が高く、使いにくくなるのか？
• RQ2 1–3スケールが、より大きなスケールよりも数学的に安定で一貫性があると正当化できるか？
• RQ3 臨界定数 a₀ ≈ 3.330191 は、対比較における最適スケールサイズを決定する上で果たす役割は何か？
• RQ4 異なるスケールサイズ下での不整合指標の挙動はどのように変化するのか？また、1–3スケールでは凸性を示すか？
• RQ5 より小さいスケールを用いることで、主観的評価における認知的現実性が向上し、誤差がどの程度低減されるのか？

主な発見

• 1–3スケールでは、不整合指標に強い凸性が見られ、数学的頑健性と安定性を支持する。
• 理論的分析から導かれた臨界定数 a₀ ≈ 3.330191 は、1–3スケールの最適性に数学的根拠を提供する。
• 1–3スケールの不整合指標は、『1段階以内のずれ』というヒューリスティックと整合しており、不整合の実用的許容範囲を示している。
• 1–9や1–5といった大きなスケールは、認知的負荷の増大と不整合の潜在的増加のため、不適切であると示された。
• 本研究は、痛みの程度を1–10スケールで評価するような、意味のない数値的精度のリスクを低減するという点で、より小さいスケールの有効性を裏付けた。
• 著者たちは、1–3スケールが、単純さ、認知的現実性、数学的整合性の観点から、対比較において優れたバランスを提供すると結論づけた。