[论文解读] A different perspective on a scale for pairwise comparisons

J. Fueloep, Waldemar W. Koczkodaj+1 more|arXiv (Cornell University)|Aug 5, 2015

Multi-Criteria Decision Making参考文献 33被引用 24

一句话总结

本文提出了一种范式转变，主张在成对比较中使用1–3的尺度，认为较小的尺度能减少不一致性，并更好地反映人类的认知局限。该研究基于凸性和不一致性指标，从数学角度出发，证明1–3尺度相较于1–5或1–9等较大尺度具有更强的理论和实际优势，尤其在最小化主观误差和提升集体智能应用中的可用性方面表现更优。

ABSTRACT

One of the major challenges for collective intelligence is inconsistency, which is unavoidable whenever subjective assessments are involved. Pairwise comparisons allow one to represent such subjective assessments and to process them by analyzing, quantifying and identifying the inconsistencies. We propose using smaller scales for pairwise comparisons and provide mathematical and practical justifications for this change. Our postulate's aim is to initiate a paradigm shift in the search for a better scale construction for pairwise comparisons. Beyond pairwise comparisons, the results presented may be relevant to other methods using subjective scales. Keywords: pairwise comparisons, collective intelligence, scale, subjective assessment, inaccuracy, inconsistency.

研究动机与目标

• 解决集体智能和决策制定中主观评估固有的不一致性问题。
• 挑战成对比较中传统使用较大尺度（如1–9）的做法，因其可能放大不准确性和认知负荷。
• 基于凸性和不一致性指标，为采用更小、更直观的尺度（特别是1–3）提供数学和心理学上的依据。
• 推动成对比较尺度构建的范式转变，倡导简洁性和认知真实性。
• 鼓励进一步研究尺度对优化、不一致性度量以及实际应用的影响。

提出的方法

• 作者使用一致性条件分析成对比较（PC）矩阵：对所有i,j,k，有a_ij * a_jk = a_ik，该条件定义了一致性矩阵。
• 采用基于距离的不一致性指标，最初由Koczkodaj提出，用于量化PC矩阵中的不一致性。
• 研究推导出在1–3尺度下不一致性指标的凸性性质，证明其数学上的稳定性和鲁棒性。
• 理论分析识别出一个临界常数a₀ ≈ 3.330191，支持1–3尺度在最小化不一致性方面的最优性。
• 该方法使用一致性、认知负荷和数学可处理性作为评估标准，将1–3尺度与现有的1–5和1–9尺度进行比较。
• 建议未来采用蒙特卡洛模拟作为验证方法，以比较不同尺度下的性能表现。

实验结果

研究问题

• RQ1 为何成对比较中的较大尺度（如1–9）会导致更高的不一致性并降低可用性？
• RQ2 1–3尺度在成对比较中能否从数学上证明其比更大尺度更稳定和一致？
• RQ3 常数a₀ ≈ 3.330191在确定成对比较最优尺度大小方面起什么作用？
• RQ4 不一致性指标在不同尺度大小下如何表现？在1–3尺度下是否表现出凸性？
• RQ5 使用较小尺度在多大程度上能提升认知真实性并减少主观评估中的误差？

主要发现

• 1–3尺度在不一致性指标中表现出强烈的凸性性质，支持其数学上的稳健性和稳定性。
• 从理论分析中得出的临界常数a₀ ≈ 3.330191，为1–3尺度的最优性提供了数学基础。
• 1–3尺度的不一致性指标更好地符合“误差在一级以内”的启发式规则，表明其不一致性具有实际可接受性。
• 研究表明，1–9和1–5等较大尺度因认知负荷增加和更高的不一致性风险而显得不够合适。
• 研究提供了证据表明，较小尺度能降低主观评估中无意义数值精度的风险，例如在1–10尺度上评估疼痛程度时。
• 作者得出结论：1–3尺度在简洁性、认知真实性与数学严谨性之间提供了更优的平衡，适用于成对比较。