[논문 리뷰] Looping in the Human Collaborative and Explainable Bayesian Optimization

Masaki Adachi, Brady Planden외 6명|arXiv (Cornell University)|2023. 10. 26.

Human-Automation Interaction and Safety인용 수 5

한 줄 요약

이 논문은 쌍별 비교와 셰플리 값 기반 설명을 통해 사용자 선호도를 통합하고 신뢰도와 성능을 향상시키는 인간-AI 프레임워크인 협업형 및 설명 가능한 베이지안 최적화(CoExBO)를 제안한다. CoExBO는 악성 인간 입력 상황에서도 수렴 보장을 보장하여 기준 방법 대비 리튬이온 이온 배터리 재료 설계에서 뛰어난 수렴성과 선택 정확도를 입증한다.

ABSTRACT

Like many optimizers, Bayesian optimization often falls short of gaining user trust due to opacity. While attempts have been made to develop human-centric optimizers, they typically assume user knowledge is well-specified and error-free, employing users mainly as supervisors of the optimization process. We relax these assumptions and propose a more balanced human-AI partnership with our Collaborative and Explainable Bayesian Optimization (CoExBO) framework. Instead of explicitly requiring a user to provide a knowledge model, CoExBO employs preference learning to seamlessly integrate human insights into the optimization, resulting in algorithmic suggestions that resonate with user preference. CoExBO explains its candidate selection every iteration to foster trust, empowering users with a clearer grasp of the optimization. Furthermore, CoExBO offers a no-harm guarantee, allowing users to make mistakes; even with extreme adversarial interventions, the algorithm converges asymptotically to a vanilla Bayesian optimization. We validate CoExBO's efficacy through human-AI teaming experiments in lithium-ion battery design, highlighting substantial improvements over conventional methods. Code is available https://github.com/ma921/CoExBO.

연구 동기 및 목표

• 베이지안 최적화의 투명성 부족과 흑박상자 성격으로 인한 사용자 신뢰 부족 문제를 해결하기 위해.
• 특히 재료 과학과 같은 고차원적이고 복잡한 도메인에서 명시적 지식 모델링이 필요 없이 인간의 통찰을 원활하게 통합하기 위해.
• 사용자 실수나 악성 간섭에 대비한 수렴 보장 없이도 강건성을 확보하기 위해.
• 설명 가능한 AI 기법을 활용해 인간의 선호도 판단과 알고리즘적 추론을 융합함으로써 최적화 효율을 향상시키기 위해.
• 실세계 응용 분야에서 프레임워크를 검증하기 위해, 특히 인간의 전문성과 고비용 실험이 공존하는 리튬이온 이온 배터리 전해질 설계에서의 적용을 목적으로 한다.

제안 방법

• CoExBO는 사용자 정의 모델이 필요 없는 암묵적 선호도 캡처를 위해 쌍별 비교를 통한 선호도 학습을 사용한다.
• 각 특성의 기여도를 확보 함수, 예측 평균 및 불확실성에 대해 셰플리 값 기반 설명을 적용하여 사용자 이해도를 향상시킨다.
• 프레임워크는 사기 모델과 확보 함수를 유지하며, 후보 선택은 베이지안 최적화와 인간 피드백의 조합에 의해 이끌린다.
• no-harm 수렴 보장은 잘못되거나 악성 인간 선택이 있더라도 알고리즘이 점차적으로 일반 베이지안 최적화 성능에 수렴함을 보장한다.
• 공간적 및 특성 중요도 설명을 통해 시스템은 사기 모델, 불확실성 및 선호도 모델을 동적으로 시각화하여 의사결정 지원을 한다.
• 인간 피드백은 반복적으로 쌍별 후보 선택을 통해 수집되며, 선택 정확도는 확률적 신뢰도 추정치를 통한 사후 평가로 수행된다.

실험 결과

연구 질문

• RQ1 사용자 지식 모델링이 명시적으로 필요 없이, 인간 선호도를 효과적으로 통합할 수 있는 베이지안 최적화 프레임워크는 존재하는가?
• RQ2 셰플리 값 기반 설명을 통한 설명 가능성은 인간-AI 협업 최적화에서 사용자 신뢰도와 선택 정확도를 어떻게 향상시킬 수 있는가?
• RQ3 사용자 실수나 악성 간섭은 최적화 성능을 어느 정도 악화시킬 수 있으며, no-harm 보장이 수렴성을 유지하는 데 얼마나 효과적인가?
• RQ4 쌍별 비교를 통한 인간 피드백 통합은 실세계 작업에서 표준 베이지안 최적화 대비 더 빠른 수렴을 이끌 수 있는가?
• RQ5 설명 기능의 통합은 인간의 의사결정 오버헤드와 시간이 지남에 따라 선택 일관성에 어떤 영향을 미치는가?

주요 결과

• CoExBO는 기준 베이지안 최적화 및 인간 지도형 방법 대비 리튬이온 이온 배터리 전해질 설계 과제에서 유의미하게 빠른 수렴을 달성했다.
• 설명이 제공된 경우 반복 과정 전반에 걸쳐 선택 정확도가 안정되었으며, 설명이 없을 경우 후반 단계에서 후보들이 유사한 상황에서 정확도가 크게 변동하는 경향을 보였다.
• 설명 및 후보 생성 구성 요소에서 발생하는 오버헤드는 인간 선택 시간에 비해 무시할 만큼 작았으며, 실용적 타당성을 입증했다.
• 악성 인간 선택 상황에서도 CoExBO는 점차적으로 일반 베이지안 최적화 성능에 수렴함을 유지하여 no-harm 보장이 확인되었다.
• 셰플리 값 기반 설명을 통해 사용자는 매우 유사한 후보들을 구분할 수 있었으며, 최적화 후반 단계에서 의사결정 자신감이 향상되었다.
• EC-DMC-EMC-LiPF6 및 MA-DMC-EMC-LiPF6 시스템에서의 실세계 실험에서 CoExBO는 표준 BO 및 batchUCB보다 수렴 속도와 강건성 면에서 뛰어난 성능을 보였다.