[论文解读] Interpretable Low-Dimensional Regression via Data-Adaptive Smoothing

Wesley Tansey, Jesse Thomason+1 more|arXiv (Cornell University)|Aug 6, 2017

Statistical Methods and Inference参考文献 12被引用 3

一句话总结

本文提出最大方差总变差（MVTV）去噪方法，一种用于可解释低维回归的数据自适应方法，通过最大方差启发式将特征空间划分为常数值块，并应用总变差去噪实现平滑。MVTV在AIC指标和人类研究中均显示出优于CART和CRISP的优越准确率与可解释性，且人类可解释性预测的提升具有统计显著性。

ABSTRACT

We consider the problem of estimating a regression function in the common situation where the number of features is small, where interpretability of the model is a high priority, and where simple linear or additive models fail to provide adequate performance. To address this problem, we present Maximum Variance Total Variation denoising (MVTV), an approach that is conceptually related both to CART and to the more recent CRISP algorithm, a state-of-the-art alternative method for interpretable nonlinear regression. MVTV divides the feature space into blocks of constant value and fits the value of all blocks jointly via a convex optimization routine. Our method is fully data-adaptive, in that it incorporates highly robust routines for tuning all hyperparameters automatically. We compare our approach against CART and CRISP via both a complexity-accuracy tradeoff metric and a human study, demonstrating that that MVTV is a more powerful and interpretable method.

研究动机与目标

• 为解决当线性或可加模型无法捕捉复杂非线性关系时，在低维回归中实现高可解释性的挑战。
• 通过在特征空间中创建锐利、数据自适应的分区，生成常数值块，以平衡模型准确率与可解释性。
• 利用数据自适应、稳健的程序自动调整超参数（网格大小和正则化），消除人工干预。
• 不仅通过统计指标，还通过人类感知研究评估所得模型的可解释性。
• 在真实世界数据（如奥斯汀犯罪数据）上，证明MVTV在预测准确率和人类可解释性方面优于CART和CRISP。

提出的方法

• MVTV使用最大方差启发式在特征空间上构建数据自适应网格，确保网格边界与潜在信号中的显著变化对齐。
• 该方法将特征空间划分为多个块，每个块分配一个常数值预测，实现可解释的分段常数回归。
• 在所得网格上应用快速总变差去噪以平滑预测，同时在边界处保留锐利过渡，采用凸优化框架。
• 通过凸优化问题联合优化块值与网格结构，利用组融合Lasso进行正则化，以促进空间平滑性。
• 通过交叉验证与解路径方法自动选择超参数（网格大小 $q$ 和正则化 $ heta$），确保稳健性且无需人工调参。
• 该方法利用稀疏二值选择矩阵将输入特征映射到块预测，并使用ADMM实现高效优化，初始设置复杂度为 $ ilde{O}(n + q^4)$，每次迭代复杂度为 $ ilde{O}(q^3)$。

实验结果

研究问题

• RQ1 在低维设置下，数据自适应、可解释的回归方法是否能实现优于CART和CRISP的准确率与可解释性？
• RQ2 与均匀或分位数网格相比，使用最大方差启发式进行网格构建是否能产生更具意义和信息量的特征空间分区？
• RQ3 通过交叉验证实现的自动超参数调节能否在无需人工干预的情况下提升模型性能？
• RQ4 与原始数据、CART或CRISP相比，MVTV在预测任务中对人类可解释性的提升程度如何？
• RQ5 在受控研究中，使用MVTV处理的数据是否显著提升人类预测准确率，相比其他平滑方法？

主要发现

• 在奥斯汀犯罪数据集上，MVTV的AIC得分最低（10327.58），优于CART（11139.29）和CRISP（18326.33），表明其在模型拟合与复杂度之间达到更优平衡。
• 在207名标注员参与的人类研究中，MVTV将人类预测误差降低至2.75 × 10⁻²，显著低于CART（3.24 × 10⁻²）和CRISP（3.99 × 10⁻²），且显著优于原始数据。
• MVTV是唯一在与原始数据对比中通过Tukey范围检验确认人类预测准确率具有统计显著提升的方法。
• CART过度平滑数据，形成大面积均匀区域，导致标注员误判为统一值，尽管方差低但误差较高。
• CRISP平滑不足，产生噪声斑块，使预测困难，导致人类误差高于MVTV。
• MVTV方法生成了视觉上可解释、灵活的分区，有效平衡了局部细节与全局结构，成功捕捉了奥斯汀犯罪数据中的空间模式。