[论文解读] Explaining Bayesian Optimization by Shapley Values Facilitates Human-AI Collaboration

Julian Rodemann, Federico Croppi+8 more|arXiv (Cornell University)|Mar 7, 2024

Explainable Artificial Intelligence (XAI)被引用 4

一句话总结

该论文提出了ShapleyBO，一种利用Shapley值解释贝叶斯优化（BO）建议的框架，通过量化每个超参数对获取函数的贡献来实现。通过将探索分解为偶然性不确定性和认知性不确定性两部分，并支持人机协同干预，ShapleyBO提升了人机协作效率，在个性化外骨骼调节任务中，与不可解释的BO相比，遗憾值最高降低了30%。

ABSTRACT

Bayesian optimization (BO) with Gaussian processes (GP) has become an indispensable algorithm for black box optimization problems. Not without a dash of irony, BO is often considered a black box itself, lacking ways to provide reasons as to why certain parameters are proposed to be evaluated. This is particularly relevant in human-in-the-loop applications of BO, such as in robotics. We address this issue by proposing ShapleyBO, a framework for interpreting BO's proposals by game-theoretic Shapley values.They quantify each parameter's contribution to BO's acquisition function. Exploiting the linearity of Shapley values, we are further able to identify how strongly each parameter drives BO's exploration and exploitation for additive acquisition functions like the confidence bound. We also show that ShapleyBO can disentangle the contributions to exploration into those that explore aleatoric and epistemic uncertainty. Moreover, our method gives rise to a ShapleyBO-assisted human machine interface (HMI), allowing users to interfere with BO in case proposals do not align with human reasoning. We demonstrate this HMI's benefits for the use case of personalizing wearable robotic devices (assistive back exosuits) by human-in-the-loop BO. Results suggest human-BO teams with access to ShapleyBO can achieve lower regret than teams without.

研究动机与目标

• 为解决贝叶斯优化（BO）在人机协同应用中，尤其是在机器人领域中的黑箱特性问题。
• 通过Shapley值提供特征级别的解释，使人类用户能够理解并信任BO的参数建议。
• 在可加获取函数中，解耦超参数对探索（不确定性减少）与利用（均值优化）的贡献。
• 开发一种由ShapleyBO支持的人机界面（HMI），使用户能够在建议与人类推理相冲突时进行干预。
• 通过实证验证，ShapleyBO在现实世界个性化任务（如可穿戴外骨骼的调优）中，能够增强人机协作。

提出的方法

• 将Shapley值应用于获取函数，以量化每个超参数对BO决策的贡献。
• 利用Shapley值的线性特性，将获取函数分解为探索与利用两部分的贡献。
• 通过集合值先验估计模型不确定性，进一步解耦偶然性与认知性不确定性的贡献。
• 设计了一种人机界面（HMI），用于可视化Shapley值，并允许用户基于可解释性拒绝或修改BO的建议。
• 在15名个体的个性化辅助腰骶部外骨骼调优任务中，于模拟的人机协同BO设置下评估了该方法。
• ShapleyBO已通过匿名GitHub仓库实现代码与结果的可复现性。

Figure 1: ShapleyBO results in iteration 59 of BO on $\Psi(\bm{\theta})=f(\bm{\theta})+\bm{\epsilon}$ . Plots i and ii for $\lambda=1$ and plots iii and iv for $\lambda=10$ , see (Croppi,, 2021 , Fig. 5) . Contributions ( $phi$ ) are averaged over 30 proposals for each $\lambda$ . On the right, the

实验结果

研究问题

• RQ1 如何利用Shapley值解释单个超参数对贝叶斯优化获取函数的贡献？
• RQ2 Shapley值在多大程度上能够解耦可加获取函数（如置信区间）中探索与利用的作用？
• RQ3 Shapley值是否能够进一步将探索分解为偶然性与认知性不确定性的贡献？
• RQ4 提供基于Shapley值的解释是否能提升超参数调优任务中的人机协作？
• RQ5 与标准BO相比，ShapleyBO支持的HMI对优化性能有何影响？

主要发现

• ShapleyBO通过博弈论中的Shapley值量化每个超参数对获取函数的贡献，成功解释了BO的参数建议。
• 该方法能够将探索分解为偶然性与认知性不确定性的贡献，其中认知性不确定性进一步划分为近似误差与模型不确定性。
• 在人机协同的外骨骼个性化任务中，使用ShapleyBO支持的团队相比缺乏可解释性的团队，遗憾值显著更低，15名受试者中有10名在95%置信水平下具有统计显著性。
• ShapleyBO支持的HMI使用户能够拒绝与人类推理不一致的建议，从而提升了人类直觉与算法决策之间的一致性。
• 该框架表明，Shapley值不仅适用于解释模型预测，也适用于解释优化算法的决策逻辑。
• 代码与结果已公开，支持复现与扩展，可推广至其他BO应用场景。

Figure 2: Informativeness paths for hyper ellipsoid optimization, see (Croppi,, 2021 , Fig. 6) . Plot on top displays $cb$ contributions with facets for parameters (vertical) and $\lambda$ (horizontal); beneath its decomposition into $m$ (red) and $se$ (blue) contributions. They are averaged over 30