[論文レビュー] Explaining Bayesian Optimization by Shapley Values Facilitates Human-AI Collaboration

Julian Rodemann, Federico Croppi+8 more|arXiv (Cornell University)|Mar 7, 2024

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

この論文では、Shapley値を用いてベイズ最適化（BO）の提案内容を説明するフレームワーク、ShapleyBOを紹介している。ShapleyBOは、各ハイパーパrameterが獲得関数に与える寄与度を定量化することで、BOの意思決定を解釈可能にする。探索をアンビエント的不確実性とエピステミック的不確実性の成分に分解し、人間による介入を可能にすることで、人間とAIの協働を強化し、個人向け外骨格のチューニングにおいて、非解釈可能なBOと比較して、最大30％のレグレット削減を実現した。

ABSTRACT

Bayesian optimization (BO) with Gaussian processes (GP) has become an indispensable algorithm for black box optimization problems. Not without a dash of irony, BO is often considered a black box itself, lacking ways to provide reasons as to why certain parameters are proposed to be evaluated. This is particularly relevant in human-in-the-loop applications of BO, such as in robotics. We address this issue by proposing ShapleyBO, a framework for interpreting BO's proposals by game-theoretic Shapley values.They quantify each parameter's contribution to BO's acquisition function. Exploiting the linearity of Shapley values, we are further able to identify how strongly each parameter drives BO's exploration and exploitation for additive acquisition functions like the confidence bound. We also show that ShapleyBO can disentangle the contributions to exploration into those that explore aleatoric and epistemic uncertainty. Moreover, our method gives rise to a ShapleyBO-assisted human machine interface (HMI), allowing users to interfere with BO in case proposals do not align with human reasoning. We demonstrate this HMI's benefits for the use case of personalizing wearable robotic devices (assistive back exosuits) by human-in-the-loop BO. Results suggest human-BO teams with access to ShapleyBO can achieve lower regret than teams without.

研究の動機と目的

• 人間が関与する応用、特にロボット工学分野におけるベイズ最適化（BO）のブラックボックス性を解消すること。
• ゲーム理論的Shapley値を用いて、特徴レベルでの説明を提供することで、人間ユーザーがBOのパラメータ提案を理解し、信頼できるようにすること。
• 加法的獲得関数における、探索（不確実性低減）と活用（平均最適化）へのハイパーパrameter寄与度を分離すること。
• 人間の推論と矛盾する提案に対して介入できる、ShapleyBO支援型の人間機械インターフェース（HMI）を開発すること。
• 実世界のパーソナライゼーションタスク、特にウェアラブル外骨格のチューニングにおいて、ShapleyBOが人間-AI協働を強化することを実証的に検証すること。

提案手法

• 獲得関数にShapley値を適用し、各ハイパーパrameterがBO意思決定に与える寄与度を定量化する。
• Shapley値の線形性により、獲得関数を探索と活用の寄与度に分解可能である。
• 集合値の事前分布を用いて、アンビエント的不確実性とエピステミック的不確実性の寄与度をさらに分離する。
• Shapley値を可視化し、解釈性に基づいてBO提案を拒否または変更できる人間機械インターフェース（HMI）を設計する。
• 15名の被験者を対象とした、支援的背骨外骨格のパーソナライゼーションを目的とした、模擬的人間が関与するBO設定で手法を評価する。
• ShapleyBOはコードとして実装されており、匿名のGitHubリポジトリを通じて再現可能である。

Figure 1: ShapleyBO results in iteration 59 of BO on $\Psi(\bm{\theta})=f(\bm{\theta})+\bm{\epsilon}$ . Plots i and ii for $\lambda=1$ and plots iii and iv for $\lambda=10$ , see (Croppi,, 2021 , Fig. 5) . Contributions ( $phi$ ) are averaged over 30 proposals for each $\lambda$ . On the right, the

実験結果

リサーチクエスチョン

• RQ1 個々のハイパーパrameterがベイズ最適化の獲得関数に与える寄与度を、どのようにShapley値を用いて説明できるか？
• RQ2 Shapley値を用いることで、信頼区間のような加法的獲得関数における探索と活用の役割をどの程度分離できるか？
• RQ3 Shapley値を用いることで、さらに探索をアンビエント的不確実性とエピステミック的不確実性の寄与度に分解できるか？
• RQ4 Shapleyベースの説明を提供することで、ハイパーパramータチューニングタスクにおける人間-AI協働が向上するか？
• RQ5 ShapleyBO支援型HMIは、標準的なBOと比較して最適化性能にどのような影響を与えるか？

主な発見

• ShapleyBOは、ゲーム理論的Shapley値を用いて、各ハイパーパrameterが獲得関数に与える寄与度を定量化することで、BOのパラメータ提案を成功裏に説明した。
• この手法により、探索をアンビエント的不確実性とエピステミック的不確実性の寄与度に分解でき、さらにエピステミック的不確実性は近似不確実性とモデル不確実性に分割された。
• 人間が関与する外骨格パーソナライゼーションの文脈において、解釈性を備えたチームは、解釈性なしのチームと比較して顕著に低いレグレットを達成した。15名中10名が95％信頼水準で統計的に有意であった。
• ShapleyBO支援型HMIにより、人間の推論と矛盾する提案をユーザーが拒否でき、人間の直感とアルゴリズム的意思決定の整合性が向上した。
• このフレームワークは、Shapley値がモデル予測の解釈にとどまらず、最適化アルゴリズムの意思決定論理の解釈に対しても有効であることを示した。
• コードと結果は公開されており、他のBO応用分野への再現性と拡張が可能である。

Figure 2: Informativeness paths for hyper ellipsoid optimization, see (Croppi,, 2021 , Fig. 6) . Plot on top displays $cb$ contributions with facets for parameters (vertical) and $\lambda$ (horizontal); beneath its decomposition into $m$ (red) and $se$ (blue) contributions. They are averaged over 30