[论文解读] Interpretable Machine Learning Models for the Digital Clock Drawing Test

William Souillard‐Mandar, Randall Davis+3 more|arXiv (Cornell University)|Jun 23, 2016

Neural Networks and Applications参考文献 8被引用 10

一句话总结

本文提出了一种用于数字钟面画测试（dCDT）的可解释机器学习模型，其在检测认知障碍方面的表现优于传统的临床评分系统。通过使用具有人类可读特征的稀疏整数系数线性模型（SLIM），该方法实现了0.78至0.83的AUC，同时保持了临床可解释性，并减少了诊断中的主观性。

ABSTRACT

The Clock Drawing Test (CDT) is a rapid, inexpensive, and popular neuropsychological screening tool for cognitive conditions. The Digital Clock Drawing Test (dCDT) uses novel software to analyze data from a digitizing ballpoint pen that reports its position with considerable spatial and temporal precision, making possible the analysis of both the drawing process and final product. We developed methodology to analyze pen stroke data from these drawings, and computed a large collection of features which were then analyzed with a variety of machine learning techniques. The resulting scoring systems were designed to be more accurate than the systems currently used by clinicians, but just as interpretable and easy to use. The systems also allow us to quantify the tradeoff between accuracy and interpretability. We created automated versions of the CDT scoring systems currently used by clinicians, allowing us to benchmark our models, which indicated that our machine learning models substantially outperformed the existing scoring systems.

研究动机与目标

• 开发用于dCDT的机器学习模型，其准确性高于现有临床评分系统，同时保持可解释性。
• 解决传统CDT评分系统因依赖模糊、主观标准而导致的低评分者间一致性问题。
• 通过约束优化构建一个在模型准确性、稀疏性和可解释性之间取得平衡的框架。
• 将新模型与七种广泛使用的临床评分系统的可操作版本进行基准对比。
• 通过结构化、基于特征的方法量化认知筛查工具中准确性与可解释性之间的权衡。

提出的方法

• 开发了一种新型软件流程，通过自动化算法将dCDT数据中的笔画分类为符号（例如，钟面、指针、数字、噪声），并辅以拖放方式的手动校正。
• 从笔画数据中提取了100多个几何和时间特征，包括墨水长度、绘制时间、笔速、角度间隙、数字定位以及指针放置错误等。
• 构建了具有整数系数的稀疏线性整数模型（SLIM），以确保可解释性，采用一种最小化误分类损失并结合稀疏性-可理解性惩罚的优化框架。
• 基于特征层次结构（树状结构）定义可理解性惩罚，优先选择依赖树中位置较低（更简单）的特征，以增强模型清晰度。
• 通过分层5折交叉验证和网格搜索优化模型超参数（C+、C−、C0、C1），并设定最多10个特征的硬性上限以保持可解释性。
• 将七种现有临床评分系统转化为基于代码的基准，以实现与所提模型的直接比较。

实验结果

研究问题

• RQ1 与传统临床评分系统相比，可解释的机器学习模型是否能提高dCDT在认知筛查中的准确性？
• RQ2 在准确性高于现有评分方法的前提下，模型可解释性能在多大程度上得以保持？
• RQ3 在静态绘图评估之外，时间与空间层面的笔画级特征如何提升对认知障碍的检测能力？
• RQ4 当模型被限制仅使用少量人类可读特征时，准确性与可解释性之间的权衡如何体现？
• RQ5 结构化的特征层次与可理解性惩罚是否能提升机器学习模型在神经心理学评估中的临床可用性？

主要发现

• 所提出的SLIM模型在仅使用最简单特征时，AUC范围为0.74至0.78；在使用全部特征时，AUC范围为0.81至0.83，显著优于现有临床评分系统。
• 仅使用9个二值特征进行记忆障碍筛查的模型达到了0.78的AUC，表明在极简复杂度下仍具有高准确性。
• 传统评分系统（如Rouleau）的可操作版本已成功以代码形式实现，使新模型能够与之直接基准对比。
• 可理解性惩罚成功地在模型中优先选择了更简单、更低层级的特征，增强了临床可解释性，且未牺牲性能。
• 该框架表明，受约束的机器学习模型可在保持透明性和临床可计算性的同时，实现高于人工评分系统的准确性。
• 结果证实，结合动态笔画级数据（如时间、笔速、绘制顺序）可比仅依赖静态绘图评估更敏感地检测认知缺陷。