[논문 리뷰] Explaining Bayesian Optimization by Shapley Values Facilitates Human-AI Collaboration

Julian Rodemann, Federico Croppi외 8명|arXiv (Cornell University)|2024. 03. 07.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 ShapleyBO를 소개하며, Shapley 값으로 베이지안 최적화(BO) 제안 사항을 설명함으로써 각 하이퍼파rameter가 획득 함수에 기여하는 정도를 정량화한다. 탐색을 난수성 불확실성과 지식 기반 불확실성 성분으로 분해하고 인간-기계 간 간섭을 가능하게 함으로써, ShapleyBO는 인간-AI 협업을 향상시키며, 비가시적 BO에 비해 개인화된 외골격 보조기어 조정에서 최대 30%까지 회복률을 감소시킨다.

ABSTRACT

Bayesian optimization (BO) with Gaussian processes (GP) has become an indispensable algorithm for black box optimization problems. Not without a dash of irony, BO is often considered a black box itself, lacking ways to provide reasons as to why certain parameters are proposed to be evaluated. This is particularly relevant in human-in-the-loop applications of BO, such as in robotics. We address this issue by proposing ShapleyBO, a framework for interpreting BO's proposals by game-theoretic Shapley values.They quantify each parameter's contribution to BO's acquisition function. Exploiting the linearity of Shapley values, we are further able to identify how strongly each parameter drives BO's exploration and exploitation for additive acquisition functions like the confidence bound. We also show that ShapleyBO can disentangle the contributions to exploration into those that explore aleatoric and epistemic uncertainty. Moreover, our method gives rise to a ShapleyBO-assisted human machine interface (HMI), allowing users to interfere with BO in case proposals do not align with human reasoning. We demonstrate this HMI's benefits for the use case of personalizing wearable robotic devices (assistive back exosuits) by human-in-the-loop BO. Results suggest human-BO teams with access to ShapleyBO can achieve lower regret than teams without.

연구 동기 및 목표

• 베이지안 최적화(BO)의 투명성 부족 문제를 해결함으로써 인간-기계 간 협업 응용 분야, 특히 로봇 분야에서의 적용을 목표로 한다.
• Shapley 값을 통한 기능 수준의 설명을 제공함으로써 인간 사용자가 BO의 파rameter 제안을 이해하고 신뢰할 수 있도록 한다.
• 가산 획득 함수에서 탐색(불확실성 감소)과 이용(평균 최적화)에 기여하는 하이퍼파rameter의 기여도를 분리한다.
• 사용자가 인간의 사고 방식과 충돌하는 제안에 간섭할 수 있도록 허용하는 ShapleyBO 기반 인간-기계 인터페이스(HMI)를 개발한다.
• 실세계 개인화 작업, 예를 들어 착용형 외골격 조정에서 ShapleyBO가 인간-AI 협업을 향상시키는지 경험적으로 검증한다.

제안 방법

• 획득 함수에 Shapley 값을 적용하여 각 하이퍼파rameter가 BO의 의사결정에 기여하는 정도를 정량화한다.
• Shapley 값의 선형성 덕분에 획득 함수를 탐색 및 이용 성분의 기여도로 분해할 수 있다.
• 집합 기반 사전을 사용하여 난수성 불확실성과 지식 기반 불확실성 기여도를 추가로 분리한다.
• Shapley 값을 시각화하고 사용자가 해석 가능성에 기반해 BO 제안을 거부하거나 수정할 수 있도록 하는 인간-기계 인터페이스(HMI)를 설계한다.
• 15명의 개인을 대상으로 보조성 배경 외골격 조정을 위한 시뮬레이션된 인간-기계 간 협업 BO 환경에서 방법을 평가한다.
• ShapleyBO는 익명 GitHub 저장소를 통해 코드와 결과가 재현 가능하도록 구현되어 있다.

Figure 1: ShapleyBO results in iteration 59 of BO on $\Psi(\bm{\theta})=f(\bm{\theta})+\bm{\epsilon}$ . Plots i and ii for $\lambda=1$ and plots iii and iv for $\lambda=10$ , see (Croppi,, 2021 , Fig. 5) . Contributions ( $phi$ ) are averaged over 30 proposals for each $\lambda$ . On the right, the

실험 결과

연구 질문

• RQ1 Shapley 값은 어떻게 베이지안 최적화의 획득 함수에 기여하는 개별 하이퍼파rameter의 기여도를 설명하는 데 사용될 수 있는가?
• RQ2 Shapley 값은 가산 획득 함수(예: 신뢰도 기반)에서 탐색과 이용의 역할을 어느 정도 분리할 수 있는가?
• RQ3 Shapley 값은 탐색을 난수성 불확실성과 지식 기반 불확실성 기여도로 추가로 분해할 수 있는가?
• RQ4 Shapley 기반 설명을 제공함으로써 인간-AI 협업이 하이퍼파rameter 조정 작업에서 향상되는가?
• RQ5 ShapleyBO 기반 HMI는 표준 BO에 비해 최적화 성능에 어떤 영향을 미치는가?

주요 결과

• ShapleyBO는 게임 이론적 Shapley 값의 정량적 기반으로 BO의 파rameter 제안을 성공적으로 설명한다.
• 이 방법은 탐색을 난수성 불확실성과 지식 기반 불확실성 기여도로 분리할 수 있으며, 지식 기반 불확실성은 근사 불확실성과 모델 불확실성으로 추가로 분할된다.
• 인간-기계 간 협업 외골격 개인화 과정에서 ShapleyBO 기반 팀은 해석 가능성 없이 운영된 팀에 비해 유의미하게 낮은 회복률을 기록했으며, 15명 중 10명에서 95% 신뢰수준에서 통계적 유의성이 확인되었다.
• ShapleyBO 기반 HMI는 인간의 사고와 일치하지 않는 제안을 거부할 수 있도록 허용하여 인간의 직관과 알고리즘적 결정 간의 일치도를 향상시켰다.
• 이 프레임워크는 Shapley 값이 모델 예측뿐만 아니라 최적화 알고리즘의 의사결정 논리 해석에도 효과적임을 입증했다.
• 코드와 결과는 공개되어 있어 재현성과 다른 BO 응용 분야로의 확장이 가능하다.

Figure 2: Informativeness paths for hyper ellipsoid optimization, see (Croppi,, 2021 , Fig. 6) . Plot on top displays $cb$ contributions with facets for parameters (vertical) and $\lambda$ (horizontal); beneath its decomposition into $m$ (red) and $se$ (blue) contributions. They are averaged over 30