[논문 리뷰] Sequential Explanations with Mental Model-Based Policies

Arnold YS Yeung, Shalmali Joshi외 2명|arXiv (Cornell University)|2020. 07. 17.

Explainable Artificial Intelligence (XAI)참고 문헌 31인용 수 4

한 줄 요약

이 논문은 사용자의 진화하는 정신 모델에 맞춰 순차적인 설명을 생성하는 강화학습 프레임워크를 제안하며, 시간이 지남에 따라 해석 가능성의 향상을 이룹니다. 사용자의 이해도를 행동적 지표를 통해 관찰함으로써, 무작위 선택보다 더 효과적으로 시뮬레이터블성을 높이는 설명을 선택하는 방법을 제시합니다. 특히 프로토타입 및 병합된 설명 유형에서 두드러진 성능 향상을 보입니다.

ABSTRACT

The act of explaining across two parties is a feedback loop, where one provides information on what needs to be explained and the other provides an explanation relevant to this information. We apply a reinforcement learning framework which emulates this format by providing explanations based on the explainee's current mental model. We conduct novel online human experiments where explanations generated by various explanation methods are selected and presented to participants, using policies which observe participants' mental models, in order to optimize an interpretability proxy. Our results suggest that mental model-based policies (anchored in our proposed state representation) may increase interpretability over multiple sequential explanations, when compared to a random selection baseline. This work provides insight into how to select explanations which increase relevant information for users, and into conducting human-grounded experimentation to understand interpretability.

연구 동기 및 목표

• 설명자와 수용자 간 피드백 루프를 모델링함으로써 사용자 중심의 설명 설계에 미치는 격차를 해소하기 위해.
• 수용자의 현재 정신 모델에 기반해 동적으로 설명을 선택하여 블랙박스 모델의 해석 가능성 향상하기 위해.
• 정신 모델 기반 정책이 랜덤 선택보다 순차적 설명에서 사용자 시뮬레이터블성 향상에 더 효과적인지 평가하기 위해.
• 실제 사용자 행동에 기반한 해석 가능성 메트릭을 확보하기 위해 MTurk를 활용한 온라인 인간 실험을 개발하고 구현하기 위해.
• 실증적 정신 모델 관찰을 강화학습 프레임워크의 상태 표현으로 사용할 수 있는지 탐색하기 위해.

제안 방법

• 프레임워크는 강화학습을 활용해 정신 모델 관찰에 기반해 설명을 선택하는 순차적 의사결정 과정으로 설명을 모델링합니다.
• 정신 모델은 온라인 인간 실험 중 측정된 사용자 응답 및 상호작용 패턴과 같은 행동적 지표를 통해 실증적으로 표현됩니다.
• 해석 가능성에 기여할 잠재적 영향을 고려해, 시뮬레이터블성 지표를 보상 신호로 사용하여 다양한 설명 유형(예: 시그니처 맵, 프로토타입, 병합) 중에서 설명을 선택하는 정책을 수립합니다.
• 설명은 기존의 해설기(예: 시그니처 맵의 경우 딥 테일러 분해법, 국소 표현의 경우 프로토타입 기반 방법)를 사용해 생성됩니다.
• 참가자들이 순차적으로 설명과 상호작용하고, 그들의 이해도가 시뮬레이터블리티 점수로 측정되는 방식으로 Amazon MTurk에서 온라인 실험을 수행했습니다.
• 시뮬레이터블리티 향상 정도를 평가하기 위해 코헨의 d 효과 크기를 계산했습니다.

실험 결과

연구 질문

• RQ1 사용자의 진화하는 정신 모델에 적응하는 강화학습 정책이 순차적 설명에서 해석 가능성 향상에 기여할 수 있는가?
• RQ2 사용자 시뮬레이터블리티 측면에서 정신 모델 기반 설명 정책의 성능은 랜덤 선택과 비교해 어떻게 다를까?
• RQ3 다른 설명 유형(예: 시그니처 맵 대비 프로토타입)은 정신 모델 기반 선택에서 효과성이 다를까?
• RQ4 정신 모델 관찰은 얼마나 많은 불필요한 정보를 줄이고 시간이 지남에 따라 이해도를 높이는가?
• RQ5 설명의 다양성과 상호보완성은 장기적인 해석 가능성 향상에 어떤 영향을 미치는가?

주요 결과

• 정신 모델 기반 정책는 특히 프로토타입 및 병합된 설명 유형에서 랜덤 선택 대비 시뮬레이터블리티 점수를 유의미하게 높였습니다.
• 정신 모델 기반 정책의 효과 크기(Cohen’s d)는 중간에서 대까지(> 0.5)였으며, 이는 해석 가능성 향상의 의미 있는 정도를 시사합니다.
• 시그니처 맵 기반 정책는 정신 모델 기반 및 랜덤 기반 정책 간 성능이 유사하여, 이 설명 유형에 대해서는 추가적인 이점이 제한적임을 시사합니다.
• 시그니처 맵 및 프로토타입 실험에서 시뮬레이터블리티 점수의 정체 현상은 여러 설명 이후 포화 또는 인지 과부하의 가능성을 시사합니다.
• 병합된 설명에서는 정체 현상이 관찰되지 않아, 다양한 설명 유형이 점차적으로 상호보완적인 정보를 제공하며 해석 가능성 향상이 지속됨을 시사합니다.
• 시뮬레이터블리티 점수의 높은 표준편차는 사용자 반응의 변동성을 나타내며, 이는 온라인 실험에서 모니터링하지 못한 피로, 주의 산산, 개인적 차이 등 때문일 가능성이 큽니다.