[论文解读] Explanation-Based Tuning of Opaque Machine Learners with Application to Paper Recommendation

Benjamin Charles Germain Lee, Kyle Lo+2 more|arXiv (Cornell University)|Mar 9, 2020

Explainable Artificial Intelligence (XAI)参考文献 28被引用 4

一句话总结

本文提出了 LIMEADE，一种使用户能够基于局部代理解释（例如 LIME）来调整不透明机器学习模型（如神经网络推荐系统）的框架。在科学论文推荐系统 Semantic Sanity 上的应用表明，LIMEADE 在用户研究中显著提升了用户的控制感、信任度和满意度，弥合了黑箱模型解释与交互式模型调优之间的鸿沟。

ABSTRACT

Research in human-centered AI has shown the benefits of machine-learning systems that can explain their predictions. Methods that allow users to tune a model in response to the explanations are similarly useful. While both capabilities are well-developed for transparent learning models (e.g., linear models and GA2Ms), and recent techniques (e.g., LIME and SHAP) can generate explanations for opaque models, no method currently exists for tuning of opaque models in response to explanations. This paper introduces LIMEADE, a general framework for tuning an arbitrary machine learning model based on an explanation of the model's prediction. We apply our framework to Semantic Sanity, a neural recommender system for scientific papers, and report on a detailed user study, showing that our framework leads to significantly higher perceived user control, trust, and satisfaction.

研究动机与目标

• 解决尽管解释方法取得进展，但不透明（黑箱）机器学习模型仍缺乏交互式调优能力的问题。
• 开发一种通用框架，使用户能够基于预测的局部解释来调整模型行为。
• 评估基于解释的调优是否能提升用户在真实推荐系统中对控制感、信任度和满意度的感知。
• 在实际场景中应用并验证该框架——通过用户研究在科学论文推荐系统中进行。

提出的方法

• LIMEADE 集成局部代理解释（如 LIME）以解释来自不透明模型（如神经网络）的预测结果。
• 将解释中突出的关键特征呈现给用户，使其能够直接修改特征权重或取值。
• 用户指定的修改被映射回原始模型的输入空间，并重新评估模型的预测，以反映调优后的行为。
• 该框架支持迭代调优，使用户能够通过一系列基于解释的调整逐步优化预测结果。
• 该方法具有通用性，适用于任何模型无关的解释技术，包括 LIME 和 SHAP。

实验结果

研究问题

• RQ1 用户能否有效利用基于解释的反馈来调优不透明的机器学习模型？
• RQ2 基于解释的调优是否能提升用户对模型预测的控制感？
• RQ3 基于解释的交互式调优是否能增强用户对模型推荐结果的信任？
• RQ4 用户对调优过程的满意度与不可调优或无解释的系统相比如何？

主要发现

• 与不可调优基线相比，用户在使用 LIMEADE 时报告了显著更高的控制感。
• 用户在参与基于解释的调优后，对模型推荐结果的信任度显著提升。
• 当通过解释支持调优时，用户对推荐系统的满意度显著提高。
• 该框架成功使用户能够对复杂的神经网络推荐系统进行直观且行为上有意义的调整。