[论文解读] Interpretable Set Functions

Andrew Cotter, Maya R. Gupta+5 more|arXiv (Cornell University)|May 31, 2018

Explainable Artificial Intelligence (XAI)参考文献 18被引用 7

一句话总结

本文提出使用深度格栅网络（DLN）构建可解释的集合函数，以聚合可变长度、排列不变的特征集合，支持单调性约束，并提供可视化的一维校准器曲线，从而增强模型的可解释性与可调试性。该方法在保持与深度集合网络（Deep Sets）和DNN相当准确率的同时，通过结构化正则化与简化聚合（K=1）显著提升了可解释性与稳定性。

ABSTRACT

We propose learning flexible but interpretable functions that aggregate a variable-length set of permutation-invariant feature vectors to predict a label. We use a deep lattice network model so we can architect the model structure to enhance interpretability, and add monotonicity constraints between inputs-and-outputs. We then use the proposed set function to automate the engineering of dense, interpretable features from sparse categorical features, which we call semantic feature engine. Experiments on real-world data show the achieved accuracy is similar to deep sets or deep neural networks, and is easier to debug and understand.

研究动机与目标

• 开发一种能够学习灵活但可解释的函数以聚合可变长度、排列不变的特征集合的模型。
• 通过基于领域知识引入单调性约束，提升模型可解释性，确保全局行为与专家直觉一致。
• 通过将聚合函数简化为每个标记单一输出（K=1），提升可调试性，使模型决策更易于追踪。
• 利用语义特征引擎（SFE）自动将稀疏类别型输入转化为密集、可解释的特征表示。
• 证明所提出方法在准确率上可与深度学习基线模型比肩，同时提供更优的可解释性与稳定性。

提出的方法

• 在深度集合框架中使用深度格栅网络（DLN）作为变换 φ 和 ρ 的函数类，实现结构化、可解释的建模。
• 为每个输入特征实现一维分段线性校准器函数，以查找表形式存储，支持对特征变换过程的可视化解读。
• 利用DLN内置的正则化机制，对输入-输出关系施加单调性约束，确保输入特征增加时输出不会下降。
• 通过在深度格栅网络中设置 K=1 简化聚合过程，使模型退化为对集合中每个标记的得分取平均，从而提升可调试性。
• 构建语义特征引擎（SFE），将稀疏类别型特征（如食材、形容词）转换为密集、可解释的基于集合的表示。
• 采用判别式学习端到端训练模型，结合约束条件与可视化手段，支持领域专家验证与模型审计。

实验结果

研究问题

• RQ1 我们能否设计一种集合函数模型，在显著提升可解释性的同时，保持与标准深度学习模型相当的准确率？
• RQ2 在非线性集合聚合任务中，单调性约束在提升模型可信度与可调试性方面有多有效？
• RQ3 将聚合层简化为 K=1 在多大程度上降低了模型复杂度，而不会牺牲预测性能？
• RQ4 语义特征引擎（SFE）能否有效将稀疏类别型特征转化为密集、可解释的表示，同时保持预测准确率？
• RQ5 在具有可变长度集合的真实世界数据集上，所提出的基于DLN的集合函数在性能与可解释性方面，相较于Deep Sets与DNNs表现如何？

主要发现

• 在食谱数据集上，DLN聚合函数（K>1，具体为K=4）在精确率@1与精确率@3上均优于DNN与Deep Sets。
• 在葡萄酒品质预测任务中，DLN聚合函数（K=1）在测试集上的均方误差更低（7.19），优于DNN与Deep Sets，表现出更优的泛化能力。
• DLN聚合函数的K=1变体在性能上与更复杂的Deep Sets模型相当，表明简化不会导致准确率下降。
• 模型学习到的校准器曲线揭示了有意义且可解释的模式——例如，将2星与1星评价视为相似，并识别出25–50词为评论长度的关键阈值。
• 单调性约束确保输入特征（如评分星级）增加时，预测输出不会减少，从而在所有测试案例中提供一致且可预测的行为。
• 语义特征引擎（SFE）成功将稀疏类别型特征转化为密集、可解释的表示，实现了高准确率，同时在多次重训练中保持可调试性与稳定性。