[论文解读] Estimation of Climbing Route Difficulty using Whole-History Rating

Dean Scarff|arXiv (Cornell University)|Jan 15, 2020

Winter Sports Injuries and Performance参考文献 4被引用 4

一句话总结

本文提出一种基于数据驱动的方法，利用全历史评分（Whole-History Rating, WHR）系统估算攀岩路线难度，通过236,095条攀登记录，将Bradley-Terry模型适配用于推断路线评分。该方法在10折交叉验证中达到85%的准确率，表明实证评分与传统等级存在强相关性，同时可校正主观评级中的不一致性。

ABSTRACT

Existing grading systems for rock climbing routes assign a difficulty grade to a route based on the opinions of a few people. An objective approach to estimating route difficulty on an interval scale was obtained by adapting the Whole-History Rating (WHR) system to rock climbing. WHR's model was fitted to a database of 236,095 ascents recorded by users on an established climbing website. 73% of the ascents used in the dataset were classified as successful. Predictions were on average 85% accurate with 10-fold cross-validation. The results suggest that an empirical rating system is accurate at assessing route difficulty and is viable for revising conventional route grades.

研究动机与目标

• 开发一种客观的、基于统计的方法，用于估算攀岩路线难度，摆脱主观评级体系的局限。
• 评估全历史评分（WHR）系统——原本专为两人对弈游戏设计——在攀岩中作为动态评分系统的适用性。
• 评估WHR是否能利用大型在线攀岩数据库中的真实攀登数据，生成准确、稳定且可解释的路线评分。
• 探究传统评级（如Ewbank等级）是否能提升模型性能，或仅依赖数据本身即可实现可靠的估计。

提出的方法

• 通过将攀岩者和路线视为具有随时间变化评分的玩家，将WHR模型适配于攀岩场景，将成功攀登视为‘胜利’。
• 使用Bradley-Terry模型计算基于攀岩者与路线评分差异的成功攀登概率：$ P(A=1) = \frac{\exp(r_i)}{\exp(r_i) + \exp(r_j)} $。
• 为路线和攀岩者评分设置正态先验分布，其中路线先验通过 $ \mu_i = b(g_i - g_0) $ 与传统等级关联，$ b $ 为学习得到的缩放参数。
• 采用维纳过程建模攀岩者评分的随时间变化，使其评分能基于历史表现动态演化。
• 使用牛顿法迭代优化后验对数似然，利用海塞矩阵实现高效计算。
• 通过交叉验证校准超参数（如 $ b $, $ \sigma_C^2 $, $ \sigma_R^2 $），以平衡准确率与数值稳定性。

实验结果

研究问题

• RQ1 全历史评分系统能否有效适配于利用真实攀登数据估算攀岩路线难度？
• RQ2 WHR推导出的评分与传统Ewbank等级的相关性如何？在等级边界处模型做了哪些调整？
• RQ3 在先验分布中引入传统等级在多大程度上提升了模型准确率？
• RQ4 当在大型真实攀登数据库的公开数据上训练时，该模型是否表现出鲁棒性与稳定性？
• RQ5 所生成的评分能否提供一种可靠、等距尺度的路线难度度量，相较于当前主观评级实践更具客观性？

主要发现

• WHR模型在10折交叉验证中达到85.1%的准确率，在澳大利亚数据集（236,095次攀登）中无交叉验证时准确率达88.3%。
• 模型的精确率和召回率分别为90.5%和93.7%，表明在攀登成功与否的二分类任务中表现优异。
• 残差紧密分布在零值附近，无明显偏差，证实模型技术上合理且无系统性误差。
• 估算的路线评分与Ewbank等级之间存在中等但有意义的线性关系（$ R^2 = 0.640 $），相邻等级间存在显著重叠，表明模型已对等级边界做出调整。
• 在先验中使用Ewbank等级仅带来微弱的准确率提升——当 $ b = 0.4 $ 时的模型准确率仅比 $ b = 0 $ 时高不足0.1%，表明数据本身已蕴含大量信息。
• 最终评分分布呈非正态分布，偏态明显，且均值非零，表明模型后验估计与初始先验存在显著差异。