[论文解读] Functional Transparency for Structured Data: a Game-Theoretic Approach

Guang-He Lee, Wengong Jin+2 more|arXiv (Cornell University)|Feb 26, 2019

Machine Learning in Materials Science被引用 4

一句话总结

本文提出了一种博弈论框架，用于在结构化数据上训练的神经模型中实现功能透明性，其中灵活的预测器与局部可解释的见证者（例如决策树或线性函数）共同训练，以确保局部行为的一致性，同时不损失全局表达能力。该方法在图、序列和分子表征学习任务中提升了模型的可解释性和稳定性，并在保真度和预测性能方面取得了实证提升。

ABSTRACT

We provide a new approach to training neural models to exhibit transparency in a well-defined, functional manner. Our approach naturally operates over structured data and tailors the predictor, functionally, towards a chosen family of (local) witnesses. The estimation problem is setup as a co-operative game between an unrestricted predictor such as a neural network, and a set of witnesses chosen from the desired transparent family. The goal of the witnesses is to highlight, locally, how well the predictor conforms to the chosen family of functions, while the predictor is trained to minimize the highlighted discrepancy. We emphasize that the predictor remains globally powerful as it is only encouraged to agree locally with locally adapted witnesses. We analyze the effect of the proposed approach, provide example formulations in the context of deep graph and sequence models, and empirically illustrate the idea in chemical property prediction, temporal modeling, and molecule representation learning.

研究动机与目标

• 为解决复杂深度学习模型中可解释性的缺乏，特别是针对图和序列等结构化数据。
• 开发一种方法，确保局部功能一致性（例如线性或基于子结构的行为），同时保持全局模型容量。
• 提供一种训练时正则化策略，引导模型朝向透明的、局部可解释的行为，而非依赖事后解释。
• 通过在合作博弈设置中共同优化神经预测器与可解释见证者，实现稳定且可泛化的局部解释。

提出的方法

• 将模型透明性形式化为神经预测器与来自预定义家族（例如决策树、线性函数）的一组可解释见证者之间的合作博弈。
• 使用惩罚预测器与见证者在局部邻域中差异的损失函数，以促进功能对齐。
• 通过在邻域数据上估计局部见证者（例如决策树）来定义透明性约束，而无需可微性。
• 引入博弈系数 λ 以平衡预测准确率与透明性，采用对称和非对称博弈变体进行训练。
• 将该框架应用于深度图网络、序列模型和分子变分自编码器，通过局部见证者拟合实现可解释性。
• 使用偏差损失（例如 KL 散度或 RMSE）衡量局部功能对齐，并在测试期间进行评估。

实验结果

研究问题

• RQ1 是否可以训练神经模型，使其在保持全局强大能力的同时，表现出局部可解释行为（如线性或基于子结构的决策）？
• RQ2 预测器与可解释见证者之间的博弈论协同训练如何影响模型稳定性与局部解释的保真度？
• RQ3 博弈系数 λ 对预测准确率与功能透明性之间权衡的影响是什么？
• RQ4 与事后解释方法相比，该方法在局部区域的一致性与泛化能力方面表现如何？
• RQ5 该框架能否有效应用于解释性研究尚不充分的结构化数据（如分子、时间序列和图）？

主要发现

• 在 ZINC 数据集上，Game 模型的 ELBO 性能（-21.5）优于 Deep 模型（-21.6），且偏差显著更低（3.98 vs. 4.64），表明局部功能对齐得到改善。
• 在时间建模中，增加 λ 提升了透明性（偏差和 TV 降低），但代价是误差升高；然而 λ=0.1 的准确率优于 λ=0，表明正则化具有优势。
• Game 模型生成了稳定且可泛化的局部决策树，其分裂方式具有一致的子结构基础；而未正则化的模型生成了不稳定、依赖样本的树，泛化能力差。
• 非对称博弈变体比对称变体更高效（20.6 条序列/秒 vs. 14.6 条序列/秒），且性能相当，表明其具有实际优势。
• 在分子表征任务中，见证者主要选择侧链中的子结构，证实潜在空间的变化反映了局部分子变化，而非骨架层面的改变。
• 可视化结果显示，Game 模型的线性权重在各区域保持稳定，而 Deep 模型则更多依赖偏置，表明其可解释性可靠性较低。