[논문 리뷰] How the Experts Do It: Assessing and Explaining Agent Behaviors in Real-Time Strategy Games

Jonathan Dodge, Sean Penney외 3명|arXiv (Cornell University)|2017. 11. 19.

Explainable Artificial Intelligence (XAI)참고 문헌 27인용 수 3

한 줄 요약

이 논문은 스타크래프트 II 실시간 전략 게임에서 전문 쇼캐스터들이 실시간으로 플레이어 행동을 평가하고 설명하는 방식을 조사하여, 인지적 및 시간적 제약 조건 하에서 효과적이고 적시에 설명하는 전략을 드러낸다. 이들은 상호작용형 AI 설명 시스템이 전문가를 모방하여 액추에이터 및 센서 데이터를 우선시하고, 구조화된 정보 탐색 루프를 사용하며, 의미적 특성(공간적, 시간적, 정량적)을 활용해 전술을 간결하게 전달하고 인간의 정신 모델과 일치시켜야 한다고 제안한다.

ABSTRACT

How should an AI-based explanation system explain an agent's complex behavior to ordinary end users who have no background in AI? Answering this question is an active research area, for if an AI-based explanation system could effectively explain intelligent agents' behavior, it could enable the end users to understand, assess, and appropriately trust (or distrust) the agents attempting to help them. To provide insights into this question, we turned to human expert explainers in the real-time strategy domain, "shoutcaster", to understand (1) how they foraged in an evolving strategy game in real time, (2) how they assessed the players' behaviors, and (3) how they constructed pertinent and timely explanations out of their insights and delivered them to their audience. The results provided insights into shoutcasters' foraging strategies for gleaning information necessary to assess and explain the players; a characterization of the types of implicit questions shoutcasters answered; and implications for creating explanations by using the patterns

연구 동기 및 목표

• 실시간 전략 게임인 스타크래프트 II와 같은 환경에서 인간 전문 설명가(쇼캐스터)가 복잡한 에이전트 행동을 실시간으로 평가하고 설명하는 방식을 이해하는 것.
• 실시간 제약 조건 하에서 쇼캐스터들이 사용하는 정보 원천, 정보 탐색 전략, 설명 패턴을 특정하는 것.
• 전문가 설명 실천 방식을 모방함으로써 지능형 에이전트에 대한 사용자 이해도와 신뢰도를 향상시키는 상호작용형 AI 설명 시스템의 설계 원칙을 도출하는 것.
• 청중이 간결하고 맥락 인식 가능한 설명을 통해 에이전트 행동에 대한 정신 모델을 어떻게 형성하는지 조사하는 것.
• 동적이고 부분 관측 가능한 환경에서 전문가 설명 전략을 모델링함으로써 AI 설명 시스템과 인간 이해 간 격차를 메우는 것.

제안 방법

• 정보 탐색 이론(IFT)을 개념적 프레임워크로 사용하여 라이브 스타크래프트 II 쇼캐스팅 녹화 녹화 분석을 실시하였다.
• 게임플레이 중 쇼캐스터들이 탐색한 정보 조각(예: 액추에이터 출력, 센서 입력)을 식별하고 분류하였다.
• 실시간 설명의 핵심인지 인지적 및 행동 패턴으로서 A-E-P+S 루프(평가, 설명, 예측, + 만족)를 매핑하였다.
• 언어적 패턴을 분석하여 쇼캐스터들이 게임 오브젝트와 행동에 공간적, 시간적, 정량적 의미적 특성을 어떻게 조합하는지 파악하였다.
• 주제 코드 분석을 통해 라이브 플레이 중 쇼캐스터들이 암시적으로 다루는 질문, 설명 목표, 추상화 수준을 추출하였다.
• 시간, 추상화, 의사소통 효율성 측면에서 전문가 전략과 일치하는 방식으로 상호작용형 설명 시스템의 설계 함의를 도출하였다.

실험 결과

연구 질문

• RQ1 RQ1: 쇼캐스터들이 설명을 생성하기 위해 어떤 정보를 찾고, 게임 환경의 어디서 이를 확보하는가?
• RQ2 RQ2: 쇼캐스터들은 필요한 정보를 어떻게 확보하며, 어떤 신호나 유도 요소가 그들의 정보 탐색 행동을 이끄는가?
• RQ3 RQ3: 쇼캐스터들이 암시적으로 해결하는 질문은 무엇이며, 실시간 제약 조건 하에서 실현 가능하고 적시에 맞는 설명을 어떻게 구성하는가?
• RQ4 RQ4: 쇼캐스터들이 설명을 구성할 때 어떤 관계와 오브젝트를 사용하며, 어떻게 성질을 게임 요소와 조합하는가?

주요 결과

• 쇼캐스터들은 주로 액추에이터 출력(예: 유닛 이동, 공격)과 센서 입력(예: 자원 수, 유닛 가시성)에서 정보를 탐색하여, 설명 시스템이 성능 지표보다 이러한 데이터 유형을 우선시해야 한다는 점을 시사한다.
• A-E-P+S 루프—평가, 설명, 예측, 그리고 만족—는 주된 인지적 및 행동 패턴이었으며, 이는 시스템이 실시간 설명에 대해 체계적인 접근을 모방해야 한다는 것을 시사한다.
• 쇼캐스터들은 공간적 성질(예: 적 기지까지의 거리)과 시간적 성질(예: 유닛 생산 시점)을 자주 사용하여 전략적 의도를 간결하게 전달하여 복잡한 전술을 효과적으로 전달할 수 있었다.
• 정량적 성질은 전략적으로 사용되었다: 작업자 수는 정확한 숫자로 자주 보고되었으며(수치와 함께 46회 발생), 반면 군대 규모는 일반적으로 약간의 표현(예: '매우 많은 마린')으로 기술되어, 맥락에 따라 추상화 수준이 달라짐을 보여주었다.
• 쇼캐스터들은 정확하지는 않지만 실현 가능하고 적시에 맞는 설명을 통해 청중의 호기심을 충족시켰으며, 이는 실시간 제약 조건 하에서 '만족' 전략을 사용하고 있음을 보여준다.
• 명사와 동사와 함께 어미, 부사어 등 의미적 성질을 조합하여 쇼캐스터들은 전략과 의도를 효율적으로 전달할 수 있었으며, 이는 상호작용형 설명 시스템이 명확성과 간결성을 확보하기 위해 채택할 수 있는 패턴이다.