[论文解读] Natively Interpretable Machine Learning and Artificial Intelligence: Preliminary Results and Future Directions

Christopher J. Hazard, Christopher Winter Fusting+4 more|arXiv (Cornell University)|Jan 2, 2019

Explainable Artificial Intelligence (XAI)参考文献 51被引用 11

一句话总结

本文通过将k近邻（kNN）与信息论相结合，提出了一种原生可解释的机器学习框架，通过数据驱动推理实现可追溯、可审计的决策。通过引入分数阶和零p值以实现对不确定性的感知距离度量，该方法在分类（AUC最高达0.78）和回归（决定系数最高达0.66）任务中均提升了kNN的准确性，同时支持在线学习、数据填补和合成数据生成，且不损失可解释性。

ABSTRACT

Machine learning models have become more and more complex in order to better approximate complex functions. Although fruitful in many domains, the added complexity has come at the cost of model interpretability. The once popular k-nearest neighbors (kNN) approach, which finds and uses the most similar data for reasoning, has received much less attention in recent decades due to numerous problems when compared to other techniques. We show that many of these historical problems with kNN can be overcome, and our contribution has applications not only in machine learning but also in online learning, data synthesis, anomaly detection, model compression, and reinforcement learning, without sacrificing interpretability. We introduce a synthesis between kNN and information theory that we hope will provide a clear path towards models that are innately interpretable and auditable. Through this work we hope to gather interest in combining kNN with information theory as a promising path to fully auditable machine learning and artificial intelligence.

研究动机与目标

• 开发一种内在可解释、可追溯至训练数据且假设最少的机器学习框架。
• 通过与信息论的整合，克服kNN历史上存在的局限性，如计算成本高、对维度敏感以及对特征缩放的依赖。
• 通过无目标kNN架构，实现在线学习、数据填补和合成数据生成（即exputation）。
• 建立一个基础，实现完全可审计且可解释的人工智能，基于最少的假设和直接的数据可追溯性。

提出的方法

• 提出一种无目标kNN模型，利用所有其他特征预测任一特征，实现灵活、上下文感知的推理。
• 引入分数阶和零p值以表示距离度量中的不确定性，实现基于概率的推理，且无需数据缩放。
• 应用最大熵原理以建模局部数据区域，增强可解释性并减少假设。
• 使用分层聚类和原型选择以降低维度和模型复杂度，同时保持可解释性。
• 在零p值的Lebesgue空间中建模极端数据区域，支持外推（即exputation）。
• 将kNN与信息论原理结合，计算熵通量并支持分层模型解释。

实验结果

研究问题

• RQ1 能否通过信息论增强，使kNN在保持原生可解释性的同时提升准确性和可扩展性？
• RQ2 如何利用分数阶和零p值对距离度量中的不确定性进行建模，以提高预测可靠性？
• RQ3 无目标kNN在多大程度上能够支持在线学习、数据填补和合成数据生成（exputation）？
• RQ4 kNN与最大熵原理的结合能否产生既准确又可审计的模型？
• RQ5 在Lebesgue空间中使用零p值与分层模型架构及性能之间有何关联？

主要发现

• 通过引入分数阶和零p值，kNN分类准确率从0.76提升至0.78，提升具有统计显著性（p ≪ .001）。
• 通过引入不确定性感知的p值，kNN回归性能从决定系数0.53提升至0.66，提升显著（p ≪ .001）。
• 该方法可实现决策对训练数据点的直接可追溯性，支持完全可审计性和可解释性。
• 无目标kNN支持具有清晰数据来源链的数据填补，并可实现超出训练数据范围的合成数据生成（exputation）。
• kNN与信息论的整合支持分层建模和基于熵的解释，且无需额外假设。
• 该方法表明，kNN可在保持可解释性和最少假设的前提下，实现与最先进模型相媲美的性能。