[논문 리뷰] A Bayesian Account of Measures of Interpretability in Human-AI Interaction

Sarath Sreedharan, Anagha Kulkarni외 3명|arXiv (Cornell University)|2020. 11. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 34인용 수 8

한 줄 요약

이 논문은 인간의 믿음 갱신 이론에 기반한 단일 통합 모델로, 가독성, 설명 가능성, 예측 가능성이라는 세 가지 핵심 해석 가능성 측정법을 통합하는 유일한 베이지안 프레임워크를 제안한다. 인간의 정신 상태를 진짜 모델에 대한 불확실성을 포함한 다수의 에이전트 모델에 대한 확률적 믿음으로 모델링함으로써, 기존의 해석 가능성 측정법 간의 갈등을 해결하고 사용자 연구에서 관찰된 새로운 행동 현상을 설명한다.

ABSTRACT

Existing approaches for the design of interpretable agent behavior consider different measures of interpretability in isolation. In this paper we posit that, in the design and deployment of human-aware agents in the real world, notions of interpretability are just some among many considerations; and the techniques developed in isolation lack two key properties to be useful when considered together: they need to be able to 1) deal with their mutually competing properties; and 2) an open world where the human is not just there to interpret behavior in one specific form. To this end, we consider three well-known instances of interpretable behavior studied in existing literature -- namely, explicability, legibility, and predictability -- and propose a revised model where all these behaviors can be meaningfully modeled together. We will highlight interesting consequences of this unified model and motivate, through results of a user study, why this revision is necessary.

연구 동기 및 목표

• 기존의 해석 가능성 측정법—가독성, 설명 가능성, 예측 가능성—간 통합의 부족을 해결하기 위해.
• 이 측정법들 간의 근본적인 상충관계를 해결하기 위해, 인간 관찰자의 정신 모델과 믿음 구조에 대한 상충하는 가정에서 기인하는 원인을 해결하기 위해.
• 해석 가능성은 인간이 에이전트 모델에 대한 믿음에서의 불확실성을 고려하는 베이지안 추론 과정으로 이해되는 통합 모델을 개발하기 위해.
• 사용자 연구를 통해 프레임워크를 검증하여, 이전 모델이 포착하지 못한 행동을 예측할 수 있음을 입증하기 위해.
• 실제 인간-AI 협업 환경에서 다수의 해석 가능성 성질을 동시에 최적화할 수 있는 향후 계획 및 소통 전략을 가능하게 하기 위해.

제안 방법

• 다양한 에이전트 모델, 특히 진짜 모델에 대한 불확실성 또는 고장 가능성에 대한 믿음을 나타내는 널 모델(M⁰)을 포함한 다수의 에이전트 모델에 대한 확률 분포로 인간 관찰자의 믿음 상태를 모델링하기.
• 관찰된 에이전트 행동에 기반해 믿음을 갱신하는 단일 베이지안 추론 프레임워크 내에서 가독성, 설명 가능성, 예측 가능성을 모두 수립하기.
• 진짜 모델에 대한 잘못된 믿음에 대한 믿음(즉, M⁰에 대한 비영일 확률 사전분포)이 경쟁하는 해석 가능성 성질 간의 호환성을 가능하게 하는 통합 메커니즘으로서의 핵심 역할을 도입하기.
• 모델에 대한 사후 확률을 해석 가능성으로 정의하기: 진짜 모델에 대한 사후 신뢰도가 높을수록 더 좋은 해석 가능성.
• 각 해석 가능성 측정법을 믿음 갱신 과정의 별개의 현상으로 매핑하기: 가독성은 모델 인식, 설명 가능성은 기대치와의 일치, 예측 가능성은 계획 예측.
• 인간의 인지적 제약을 반영하는 가능도 함수를 활용하여, 추상화와 단순화된 설명을 사용해 해석 가능성을 향상시키기.

실험 결과

연구 질문

• RQ1 가독성, 설명 가능성, 예측 가능성은 어떻게 단일 해석 가능성 프레임워크 아래에서 의미 있게 통합될 수 있는가?
• RQ2 인간이 에이전트 모델에 대해 틀렸을 가능성이 있다는 믿음이 해석 가능성 측정법 간의 호환성을 가능하게 하는 데 어떤 역할을 하는가?
• RQ3 제안된 베이지안 프레임워크는 이전 모델이 포착하지 못한 새로운 행동 현상을 예측할 수 있는가?
• RQ4 기존의 해석 가능성 수식에서의 상충하는 가정들(예: 단일 가설 대 다중 가설)은 그 공존에 어떤 영향을 미치는가?
• RQ5 소통 및 설명 전략은 어떻게 공식적으로 프레임워크에 통합되어 다수의 해석 가능성 성질을 동시에 향상시킬 수 있는가?

주요 결과

• 제안된 베이지안 프레임워크는 인간의 믿음 상태를 다수의 에이전트 모델(진짜 모델에 대한 불확실성 포함)에 대한 확률 분포로 모델링함으로써, 가독성, 설명 가능성, 예측 가능성을 성공적으로 통합한다.
• 널 모델(M⁰)에 대한 비영일 사전분포를 포함함으로써, 해석 가능성 측정법 간의 상충관계를 해결하고, 이전에는 가독성이 있었지만 불확실성 하에서는 설명 불가능하거나 가독성이 없어지는 현상을 설명할 수 있다.
• 사용자 연구를 통해 프레임워크가 이전의 고립된 모델이 포착하지 못한 새로운 행동 특성—예를 들어, 에이전트가 의도를 신호할 때 하위 최적 행동에 대한 내성적 관용 증가—를 예측함을 검증하였다.
• 관찰자가 자신의 모델이 잘못되었을 가능성이 있다고 생각할 때, 불확실성에 대한 내성적 관용이 높아지므로, 인간 관찰자가 에이전트가 가독성을 위해 노력하고 있다고 믿을 경우 하위 최적 행동을 수용할 수 있음을 설명한다.
• 이 모델은 관찰자의 현재 믿음 상태에 따라 해석 가능성 성질을 동적으로 균형 잡는 에이전트 설계를 가능하게 하여, 단일 측정법에 최적화하는 것이 아니라 다수의 성질을 동시에 고려한 설계를 가능하게 한다.
• 재정의된 프레임워크를 통해 추상화 및 인과적 사슬과 같은 설명 전략을 가능도 함수에 통합함으로써, 설명 가능성 향상과 함께 예측 가능성 및 가독성과의 일관성을 유지할 수 있다.