[论文解读] A hybrid machine learning framework for analyzing human decision making through learning preferences

Mengzhuo Guo, Qingpeng Zhang+3 more|arXiv (Cornell University)|Jun 4, 2019

Multi-Criteria Decision Making参考文献 59被引用 7

一句话总结

该论文提出NN-MCDA，一种混合机器学习框架，将基于多项式的加性价值模型与多层感知机相结合，以在人类决策分析中实现预测性能与可解释性之间的平衡。通过显式建模单个属性的边际价值函数，并利用深度学习捕捉复杂的非线性相互作用，NN-MCDA在真实世界数据集上实现了卓越性能，同时为属性贡献提供了透明且可解释的洞察。

ABSTRACT

Machine learning has recently been widely adopted to address the managerial decision making problems, in which the decision maker needs to be able to interpret the contributions of individual attributes in an explicit form. However, there is a trade-off between performance and interpretability. Full complexity models are non-traceable black-box, whereas classic interpretable models are usually simplified with lower accuracy. This trade-off limits the application of state-of-the-art machine learning models in management problems, which requires high prediction performance, as well as the understanding of individual attributes' contributions to the model outcome. Multiple criteria decision aiding (MCDA) is a family of analytic approaches to depicting the rationale of human decision. It is also limited by strong assumptions. To meet the decision maker's demand for more interpretable machine learning models, we propose a novel hybrid method, namely Neural Network-based Multiple Criteria Decision Aiding, which combines an additive value model and a fully-connected multilayer perceptron (MLP) to achieve good performance while capturing the explicit relationships between individual attributes and the prediction. NN-MCDA has a linear component to characterize such relationships through providing explicit marginal value functions, and a nonlinear component to capture the implicit high-order interactions between attributes and their complex nonlinear transformations. We demonstrate the effectiveness of NN-MCDA with extensive simulation studies and three real-world datasets. To the best of our knowledge, this research is the first to enhance the interpretability of machine learning models with MCDA techniques. The proposed framework also sheds light on how to use machine learning techniques to free MCDA from strong assumptions.

研究动机与目标

• 解决机器学习在管理决策中模型性能与可解释性之间的权衡问题。
• 克服黑箱模型（如神经网络）和过度简化的可解释模型（如逻辑回归）在捕捉复杂属性相互作用方面的局限性。
• 将多准则决策辅助（MCDA）技术与深度学习相结合，以在不牺牲预测准确性的情况下增强可解释性。
• 使决策者能够通过显式的边际价值函数理解并验证单个属性的贡献。
• 通过利用机器学习实现灵活、数据驱动的建模，摆脱MCDA对强假设（如偏好独立性）的依赖。

提出的方法

• 提出一种混合架构，结合基于多项式函数的线性加性组件，以建模单个属性的边际价值贡献。
• 通过使用全连接的多层感知机（MLP）引入非线性组件，以捕捉高阶相互作用和复杂的非线性变换。
• 将最终输出表述为加权和：全局效用 = α × 线性组件 + (1−α) × 非线性组件，从而实现性能与可解释性之间的权衡控制。
• 在非线性组件中使用多项式函数，显式表示每个属性对结果的影响，确保可解释性。
• 采用反向传播进行端到端训练，同时对线性组件施加约束以保持加性结构，从而保障可解释性。
• 在MLP中应用激活函数（如Sigmoid），以实现非线性表示学习，同时保持整体混合结构的完整性。

实验结果

研究问题

• RQ1 结合可解释的加性价值函数与深度神经网络的混合模型，是否能比独立模型实现更优的性能-可解释性权衡？
• RQ2 基于多项式的边际价值函数在保持可解释性的同时，能在多大程度上捕捉复杂且非线性的属性贡献？
• RQ3 由MLP组件捕获的高阶属性相互作用，相较于纯线性或加性模型，如何提升预测准确性？
• RQ4 该框架能否通过数据驱动学习减少对MCDA强假设（如偏好独立性）的依赖？
• RQ5 该模型在不同复杂度的数据集上的表现如何变化？在高维或非线性数据下，其可解释性是否依然保持？

主要发现

• NN-MCDA在预测性能与可解释性之间实现了良好平衡，在复杂数据集上优于纯可解释模型。
• 高阶多项式并不总是提升准确性，表明加性组件的模型设定需谨慎处理。
• 在简单数据集上，NN-MCDA的表现与传统可解释模型相当；但在复杂且非线性的数据上，其显著优于后者。
• 该框架通过边际价值函数成功捕捉了单个属性的详细、明确贡献，使领域专家能够验证并优化模型洞察。
• 非线性组件有效建模了高阶相互作用，这在涉及人类决策的现实世界数据集上得到了性能提升的验证。
• 来自三个真实世界数据集的实证结果证实，NN-MCDA在保持高预测准确性的同时，提供了透明且可追溯的属性影响解释。