[논문 리뷰] Why? Why not? When? Visual Explanations of Agent Behavior in Reinforcement Learning

Aditi Mishra, Utkarsh Soni외 2명|arXiv (Cornell University)|2021. 04. 06.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

PolicyExplainer는 비전문가 사용자가 강화학습(RL) 에이전트를 시각적 설명을 통해 상호작용적으로 질의할 수 있도록 돕는 시각적 분석 시스템이다. 이 시스템은 '왜 이 행동을 취했는가?', '왜 다른 행동을 취하지 않았는가?', '이 행동은 언제 취해지는가?'라는 세 가지 핵심 질문에 대해 직관적인 시각적 설명을 제공한다. 이는 특히 헬스케어 및 로봇공학과 같은 안전이 중요한 분야에서 비전문가의 신뢰와 이해를 높이는 데 텍스트 기반 설명보다 뛰어난 성능을 발휘한다.

ABSTRACT

Reinforcement learning (RL) is used in many domains, including autonomous driving, robotics, stock trading, and video games. Unfortunately, the black box nature of RL agents, combined with legal and ethical considerations, makes it increasingly important that humans (including those are who not experts in RL) understand the reasoning behind the actions taken by an RL agent, particularly in safety-critical domains. To help address this challenge, we introduce PolicyExplainer, a visual analytics interface which lets the user directly query an autonomous agent. PolicyExplainer visualizes the states, policy, and expected future rewards for an agent, and supports asking and answering questions such as: Why take this action? Why not take this other action? When is this action taken? PolicyExplainer is designed based upon a domain analysis with RL researchers, and is evaluated via qualitative and quantitative assessments on a trio of domains: taxi navigation, a stack bot domain, and drug recommendation for HIV patients. We find that PolicyExplainer promotes trust and understanding of agent decisions better than a state-of-the-art text-based explanation approach. Interviews with domain practitioners provide further validation for PolicyExplainer as applied to safety-critical domains. Our results help demonstrate how visualization-based approaches can be leveraged to decode the behavior of autonomous RL agents, particularly for RL non-experts.

연구 동기 및 목표

• 안전이 중요한 분야에서 비전문가 사용자가 에이전트의 결정을 신뢰할 수 있도록 강화학습(RL) 에이전트의 해석 가능성 문제를 해결한다.
• 실제 응용에서 투명성과 책임감을 저해하는 RL 모델의 투명하지 않은 성격(블랙박스 성격)을 극복한다.
• 모델에 종속되지 않는 일반 목적의 시각적 분석 인터페이스를 설계하여 비전문가가 RL 에이전트를 상호작용적으로 질의할 수 있도록 지원한다.
• 사용자 신뢰와 인지적 부담 측면에서 최신 텍스트 기반 설명 방법과 비교하여 시각적 설명의 효과성을 평가한다.
• 택시 주행, HIV 약물 추천, 산업용 로봇(스택봇)과 같은 다양한 분야에서 시스템의 유용성을 입증한다.

제안 방법

• 상태 표현, 정책 결정, 향후 기대 보상 등을 상호작용 가능한 시각적 인코딩으로 매핑하는 시각적 분석 인터페이스를 개발한다.
• 시각적 비교와 시간적 강조를 통해 '왜 이 행동을 취했는가?', '왜 다른 행동을 취하지 않았는가?', '이 행동은 언제 취해지는가?'라는 세 가지 핵심 사용자 질의를 지원한다.
• 트리맵 및 기타 시각화 기법을 사용하여 상태-행동 가치(Q-값) 분포와 상태 공간 전반의 정책 행동을 인코딩한다.
• 모델에 종속되지 않는 설계를 통해 모델 기반 및 모델리스 RL 알고리즘 모두를 지원하며, 모델 재학습이 필요하지 않다.
• 전문가 인터뷰를 통한 사용자 피드백 루프를 통합하여 비기술적 사용자에게도 해석 가능한 시각적 디자인을 개선한다.
• 대규모 또는 연속적인 상태 공간에서의 확장성을 확보하기 위해 차원 축소 및 상태 클러스터링 기법을 적용하며, 향후 중요도 함수를 활용한 확장 계획이 수립되어 있다.

실험 결과

연구 질문

• RQ1 비전문가 사용자에게 강화학습(RL) 에이전트 행동을 설명하기 위해 시각적 분석을 어떻게 활용할 수 있을까? 이는 사용자 신뢰를 높이고 인지적 부담을 줄일 수 있는가?
• RQ2 시각적 설명이 '왜?', '왜 아닐까?', '언제?' 질문에 대해 텍스트 기반 설명과 비교할 때 사용자 이해도와 신뢰도 측면에서 어떻게 다를까?
• RQ3 시각적 인터페이스는 안전이 중요한 응용 분야를 포함한 다양한 실제 응용 분야에서 RL 에이전트의 상호작용적 질의를 효과적으로 지원할 수 있는가?
• RQ4 기계학습 전문 지식이 없는 사용자에게 복잡한 RL 정책을 설명하기 위해 가장 효과적인 설계 원칙과 시각적 인코딩은 무엇인가?
• RQ5 대규모 또는 연속적인 상태 공간을 처리하면서도 해석 가능성은 유지할 수 있는 시각적 설명 시스템은 어떻게 설계할 수 있는가?

주요 결과

• PolicyExplainer는 자연어 생성 기반 최신 텍스트 기반 설명 방법과 비교해 비전문가 사용자가 RL 에이전트의 결정을 더 신뢰하고 이해하는 데 뚜렷한 향상을 보였다.
• 사용자들은 특히 다양한 상태에서 정책 행동을 해석할 때 텍스트 기반 설명보다 시각적 설명이 더 직관적이고 인지적 부담이 적다고 평가했다.
• 통제된 사용자 연구에서 비전문가 참가자들은 텍스트 기반 설명에 의존하는 것보다 시각적 질의를 통해 에이전트 결정을 더 잘 이해했다.
• HIV 약물 추천 분야의 전문가들은 PolicyExplainer의 설명이 정보적이며 임상적 추론과 일치한다고 확인했으며, 이는 안전이 중요한 의료 환경에서의 활용 가능성을 뒷받침한다.
• 이 시스템은 택시 주행, HIV 치료, 로봇 스택킹 세 가지 서로 다른 분야에 성공적으로 적용되어 일반화 가능성과 다양한 RL 문제에 대한 적응성을 입증했다.
• 전문가들은 향후 개선 사항으로 신뢰도 시각화, 사용자 피드백 기반의 적응형 인터페이스, 저숙련 또는 자원이 부족한 의료 환경에서의 내러티브 주석 기능을 제안했다.