[논문 리뷰] Identifying Reasoning Flaws in Planning-Based RL Using Tree Explanations

Kin-Ho Lam, Zhengxian Lin외 6명|arXiv (Cornell University)|2021. 09. 28.

Explainable Artificial Intelligence (XAI)참고 문헌 11인용 수 4

한 줄 요약

이 논문은 계획 기반 딥 강화학습 에이전트의 추론 결함을 규명하기 위해 트리 기반 설명을 사용함으로써 인간 전문가가 검색 트리 내 개별 의사결정 단계를 점검할 수 있도록 하는 방법을 제안한다. 이 접근법은 AI 전문가가 ToW 게임 에이전트의 학습 모델에서 비현실적인 기초 체력 증가 평가 및 잘못된 행동 평가와 같은 복잡한 결함을 탐지하는 데 성공하였으며, 이는 복잡한 RL 시스템을 향상시키기 위한 마이크로 수준 분석의 유용성을 입증한다.

ABSTRACT

Enabling humans to identify potential flaws in an agent's decision making is an important Explainable AI application. We consider identifying such flaws in a planning-based deep reinforcement learning (RL) agent for a complex real-time strategy game. In particular, the agent makes decisions via tree search using a learned model and evaluation function over interpretable states and actions. This gives the potential for humans to identify flaws at the level of reasoning steps in the tree, even if the entire reasoning process is too complex to understand. However, it is unclear whether humans will be able to identify such flaws due to the size and complexity of trees. We describe a user interface and case study, where a small group of AI experts and developers attempt to identify reasoning flaws due to inaccurate agent learning. Overall, the interface allowed the group to identify a number of significant flaws of varying types, demonstrating the promise of this approach.

연구 동기 및 목표

• 전반적인 행동으로서 드러나지 않는 고성능 계획 기반 RL 에이전트의 추론 결함를 인간 전문가가 식별할 수 있도록 지원하는 것.
• 복잡한 검색 트리에도 불구하고 의사결정을 해석 가능한 단계로 분해하는 트리 기반 설명이 결함 탐지에 효과적으로 기여할 수 있는지 조사하는 것.
• 복잡한 환경에서 RL 에이전트 디버깅을 위해 트리 구조적 추론의 인간 주도 점검의 가능성과 효과성을 평가하는 것.
• 발견된 결함 패턴을 인간이 식별한 패tern 기반 스크립트로 일반화하여 다수의 게임 재생 기록에서 자동으로 유사 결함를 탐지할 수 있는지 탐색하는 것.
• 에이전트 의사결정 과정을 효율적이고 집중적으로 검토할 수 있도록 지원하는 설명 인터페이스 설계에 대한 통찰를 제공하는 것.

제안 방법

• 게임 재생 중 계획 기반 RL 에이전트가 생성한 상태-행동 트리를 탐색할 수 있는 시각적 인터페이스를 설계하는 것.
• 추상화된 게임 상태에 대한 학습된 모델과 평가 함수를 사용하여 에이전트의 추론 과정을 나타내는 검색 트리를 구성하는 것.
• 핵심 추론 단계를 강조하기 위해 구조화된 시각화를 활용하여 행동 예측, 리프 값 추정, 가지치기 결정을 제시하는 것.
• 유의미한 영향을 미치는 의사결정 지점에 집중하는 체계적인 검토 프로세스를 도와주는 히우리스틱을 사용하여 결함가능성이 높은 위치를 우선순위 정렬하는 것.
• 인간이 식별한 결함 패턴을 기반으로 도메인 전용 스크립트를 작성하여 다수의 게임 재생 기록에서 유사 결함를 자동으로 탐지하는 것.
• AI 전문가와 개발자들이 지속적으로 실패한 게임 에피소드의 의사결정 트리를 분석하면서 인터페이스의 유용성을 사례 연구를 통해 검증하는 것.

실험 결과

연구 질문

• RQ1 전반적인 정책 성능이 양호한 상태에서도 인간 전문가가 검색 트리의 개별 단계를 점검함으로써 계획 기반 RL 에이전트의 추론 결함를 효과적으로 식별할 수 있는가?
• RQ2 복잡한 의사결정 트리에서 결함를 위치 및 진단하는 데 가장 효과적인 설명 인터페이스의 설계 요소는 무엇인가?
• RQ3 인간이 식별한 결함 패턴을 얼마나 일반화하여 다수의 게임 세션에서 스크립트를 사용해 자동으로 탐지할 수 있는가?
• RQ4 에이전트 내부 모델의 결함(예: 잘못된 상태 전이 또는 값 추정)은 트리 기반 추론에서 어떻게 나타나며, 점검을 통해 고립될 수 있는가?
• RQ5 전문가가 결함 탐지에 가장 유망한 트리 영역에 집중할 수 있도록 유도할 수 있는 전략은 무엇인가?

주요 결과

• AI 전문가들이 트리 설명 인터페이스를 통해 에이전트의 의사결정 과정에서 비현실적인 추론 결함를 다수 발견하였으며, 기초 체력 증가를 잘못 평가한 사례가 포함되었다.
• 팀은 6개의 패배 게임 중 4개에서 에이전트가 기초 체력이 증가할 것으로 잘못 예측했음을 발견하였으며, 일부 사례에서는 10퍼센트 이상의 오차를 보였다. 이는 전략적 결정 오류로 이어졌다.
• 결함는 종종 간단하고 일반적인 용어로 기술될 수 있었으며(예: 기초 체력 증가 예측 오류), 이를 바탕으로 자동화된 스크립트를 제작하여 유사 결함를 대규모로 탐지할 수 있었다.
• 기초 체력 오류 예측 패턴을 6개의 패배 게임에서 검색하는 스크립트를 개발하여 손실 이전의 40퍼센트 의사결정 지점에서 이 패턴이 존재함을 확인하였으며, 이는 체계적인 모델 오류를 시사한다.
• 인터페이스를 통해 전문가들은 최종 행동 선택에서 드러나지 않는 결함를 탐지할 수 있었으며, 이는 추론 단계의 마이크로 수준 분석의 가치를 입증한다.
• 본 연구는 인간의 통찰력과 구조화된 트리 점검, 자동화된 스크립트 기반 검증을 조합함으로써 RL 에이전트의 핵심 결함를 효율적으로 식별하고 우선순위를 정하는 데 효과적일 수 있음을 시사한다.