[논문 리뷰] State2Explanation: Concept-Based Explanations to Benefit Agent Learning and User Understanding

Devleena Das, Sonia Chernova외 1명|arXiv (Cornell University)|2023. 09. 21.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 보조 상태/행동와 개념 기반 설명 간의 통합 임베딩을 학습하는 통합 프레임워크인 State2Explanation(S2E)를 제안한다. 이는 보상 형태 조정을 통한 강화학습 에이전트 훈련 향상과 동시에 운영 시 사용자 이해도 향상을 동시에 달성한다. Connect 4와 Lunar Lander에서 S2E는 학습 효율성과 사용자 작업 성능을 크게 향상시키며, 목표 중심의 추상화에 기반한 개념 기반 설명을 통해 双중 이점을 입증한다.

ABSTRACT

As more non-AI experts use complex AI systems for daily tasks, there has been an increasing effort to develop methods that produce explanations of AI decision making that are understandable by non-AI experts. Towards this effort, leveraging higher-level concepts and producing concept-based explanations have become a popular method. Most concept-based explanations have been developed for classification techniques, and we posit that the few existing methods for sequential decision making are limited in scope. In this work, we first contribute a desiderata for defining concepts in sequential decision making settings. Additionally, inspired by the Protege Effect which states explaining knowledge often reinforces one's self-learning, we explore how concept-based explanations of an RL agent's decision making can in turn improve the agent's learning rate, as well as improve end-user understanding of the agent's decision making. To this end, we contribute a unified framework, State2Explanation (S2E), that involves learning a joint embedding model between state-action pairs and concept-based explanations, and leveraging such learned model to both (1) inform reward shaping during an agent's training, and (2) provide explanations to end-users at deployment for improved task performance. Our experimental validations, in Connect 4 and Lunar Lander, demonstrate the success of S2E in providing a dual-benefit, successfully informing reward shaping and improving agent learning rate, as well as significantly improving end user task performance at deployment time.

연구 동기 및 목표

• 순차적 의사결정 시스템에 대한 개념 기반 설명의 격차를 해소하기 위해, 특히 사전 조건과 행동 비용을 초월하여 적용한다.
• 개념 기반 설명이 AI 에이전트(보상 형태 조정을 통한)와 최종 사용자(개선된 이해를 통한) 양측에 모두 유익한지를 탐구한다.
• 에이전트 훈련과 사용자 이해를 위한 이중 용도로 사용 가능한 상태/행동와 설명 간의 통합 임베딩을 학습하는 통합 프레임워크를 개발한다.
• 목표 중심의 추상화에 중점을 두어, 순차적 의사결정에서 '개념'이 무엇인지를 정의하는 바람직한 조건을 설정한다.
• 복잡한 강화학습 환경에서 S2E가 에이전트 학습 속도 향상과 최종 사용자 작업 성능 향상 양측에 효과적임을 검증한다.

제안 방법

• S2E는 대립 학습 목표를 사용하여 상태-행동 쌍과 개념 기반 설명 간의 통합 임베딩 모델을 학습한다.
• 학습된 임베딩은 개념 기반 보상 적용 시점과 방법을 식별함으로써 에이전트 훈련 중 자동 보상 형태 조정을 가능하게 한다.
• 운영 시, 동일한 임베딩 공간을 사용하여 사용자 이해를 위한 개념 기반 설명을 검색한다.
• 프레임워크는 고수준의 사용자 우호적 설명을 생성하기 위해 InF(Influence-based Filtering)와 TeG(Task-Goal abstraction)라는 두 가지 추상화 기법을 통합한다.
• 개념은 사전 조건이나 논리 공식 외에도 목표 관련 영향력을 기반으로 정의되며, 순차적 의사결정에 대한 제안된 바람직한 조건을 따르는 방식이다.
• 모델 기반 메트릭(학습 속도, 샘플 효율성)과 사용자 연구(작업 성능, ATS)를 사용하여 Connect 4와 Lunar Lander에서 평가한다.

실험 결과

연구 질문

• RQ1 개념 기반 설명은 보상 형태 조정을 통해 강화학습 에이전트의 학습 속도를 향상시킬 수 있는가?
• RQ2 개념 기반 설명은 순차적 의사결정 과제에서 사용자 이해도와 작업 성능을 향상시킬 수 있는가?
• RQ3 사전 조건과 행동 비용을 초월하여 순차적 의사결정 맥락에서 '개념'은 무엇을 의미하는가?
• RQ4 InF와 TeG와 같은 추상화 기법은 사용자에게 제공되는 개념 기반 설명의 효과성에 어떤 영향을 미치는가?
• RQ5 통합 임베딩 모델은 에이전트 훈련과 사용자 설명 검색을 동시에 효과적으로 지원할 수 있는가?

주요 결과

• S2E는 Connect 4와 Lunar Lander 양 측면에서 전문가가 정의한 보상 함수 수준의 학습 속도를 달성하여 자동 보상 형태 조정의 효과성을 입증했다.
• 사용자 평가에서 S2E가 생성한 설명을 접한 참가자들은 설명 없음, 자연어 설명, 시각적 설명 대비 작업 성능(ATS)에서 유의미한 향상을 보였다.
• S2E에서 InF와 TeG 추상화 방법의 조합이 사용자 작업 성능 향상에 가장 큰 기여를 하였으며, 특히 Lunar Lander와 같은 고주기 강화학습 도메인에서 두드러졌다.
• 사용자 연구 결과, 참가자들이 InF와 TeG 추상화를 모두 적용한 S2E 설명을 받았을 경우 ATS에서 통계적으로 유의미한 향상이 있었으며(p < 0.01), 모든 기준 대비 뛰어난 성능을 보였다.
• 통합 임베딩 모델은 에이전트 훈련과 사용자 이해를 위한 양측에 모두 의미 있고 유용한 개념 기반 설명을 성공적으로 검색했다.
• 잘못된 설명 검색은 테스트 도메인에서 성능에 미미한 영향을 미쳤지만, 향후 고위험 응용 분야에서 오해의 소지가 있는 설명 제공의 위험은 여전히 향후 연구 과제로 남아 있다.