[논문 리뷰] Toward Foraging for Understanding of StarCraft Agents: An Empirical Study

Sean Penney, Jonathan Dodge외 4명|arXiv (Cornell University)|2017. 11. 21.

Topic Modeling인용 수 6

한 줄 요약

이 연구는 실시간 전략 게임에서 AI 에이전트를 평가하기 위해 경험 많은 스타크래프트 플레이어가 정보를 어떻게 확보하는지 이해하기 위해 정보 사냥 이론을 적용한다. 조각난 신호와 높은 의사결정 복잡도로 인해 인지적, 이동적, 정보 비용이 높은 심각한 사냥 과제가 드러나며, 이는 복잡하고 동적인 도메인에서 설명 가능한 AI 시스템의 핵심 설계 필요성을 강조한다.

ABSTRACT

Assessing and understanding intelligent agents is a difficult task for users that lack an AI background. A relatively new area, called "Explainable AI," is emerging to help address this problem, but little is known about how users would forage through information an explanation system might offer. To inform the development of Explainable AI systems, we conducted a formative study, using the lens of Information Foraging Theory, into how experienced users foraged in the domain of StarCraft to assess an agent. Our results showed that participants faced difficult foraging problems. These foraging problems caused participants to entirely miss events that were important to them, reluctantly choose to ignore actions they did not want to ignore, and bear high cognitive, navigation, and information costs to access the information they needed.

연구 동기 및 목표

• 경험 많은 스타크래프트 플레이어가 실시간 전략 게임에서 AI 에이전트를 이해하고 평가하기 위해 정보를 어떻게 사냥하는지 조사하기.
• 모델 내부 정보에 접근할 수 없는 상황에서 사용자가 겪는 정보 필요성, 사냥 경로, 의사결정 과제를 특정하기.
• 스타크래프트와 같은 동적이고 부분 관찰 가능한 환경에서 정보 확보의 인지적 및 이동 비용을 밝혀내기.
• 정보 사냥 이론에 기반해 실시간 전략 게임과 같은 고위험 의사결정 도메인에서 설명 가능한 AI 시스템의 설계를 뒷받침하기.
• 효율적인 정보 접근과 정신 모델 형성에 장애가 되는 체계적 문제들인 '조각난 사냥감'과 '확대 문제'를 드러내기.

제안 방법

• 경험 많은 스타크래프트 플레이어를 대상으로 AI 대 인간 대결의 리플레이 파일을 분석한 형성적 사용자 연구를 수행했다.
• 참가자의 이동, 의사결정 지점, 신호 활용 방식을 분석하기 위해 정보 사냥 이론(IFT)을 이론적 프레임워크로 활용했다.
• 익명화된 리플레이와 재생 제어(뒤로가기, 빠르게 재생), 지도 탐색, 생산 추적 기능을 갖춘 제어된 환경을 구축해 실제 AI 평가 작업을 시뮬레이션했다.
• 참가자의 행동, 정지, 경로 선택, 보고한 사고 방식에 대한 질적 및 관찰 데이터를 수집하고 분석했다.
• 참가자의 정보 확보 행동을 IFT 개념에 맞춰 매핑: 사냥감(정보 목표), 신호(지시표지), 경로(이동 경로), 의사결정 비용.
• 비디오 및 로그 분석을 통해 오도 신호(혼란 유도 신호), 경로 선택의 상충, 인지 부하의 패턴을 특정했다.

실험 결과

연구 질문

• RQ1 도메인 전문가들이 어떤 정보를 찾고, 어떻게 그 정보를 요청하며, 그 이유는 무엇인가? (RQ1: 사냥감)
• RQ2 도메인 전문가들이 사냥감을 찾기 위해 어떤 경로를 따라가며, 그 이유는 무엇이며, 어떤 비용이 발생하는가? (RQ2: 사냥 경로)
• RQ3 도메인 전문가들이 가장 중요한 의사결정 지점으로 간주하는 것은 무엇이며, 어떤 신호가 이 지점에서 그들의 주의를 산산이 깨트렸는가? (RQ3: 의사결정과 신호)

주요 결과

• 참가자들은 조사에 관심이 있었음에도 불구하고, 스카우팅이나 확장 결정과 같은 중요한 이벤트를 놓치는 경우가 빈번히 발생했으며, 이는 높은 인지적 및 이동 비용 때문이었다.
• '조각난 사냥감' 문제로 인해 사용자들은 여러 인터페이스 요소에 산재한 에이전트 의사결정 증거를 수작업으로 조합해야 해서 불확실성과 노력이 증가했다.
• 시각적으로 두드러지는 전투나 유닛 이동과 같은 오도 신호가, 생산 큐 또는 확장 시기와 같이 시각적으로 덜 두드러지는 중요한 정보에서 참가자의 주의를 빼앗았다.
• '깊이'가 아니라 '넓이'에서의 '확대 문제'가 주요 과제였다: 참가자들은 많은 정보 경로 중에서 선택을 해야 했으며, 이로 인해 가치나 비용을 예측할 수 있는 능력이 제한되어 있었다.
• 인지적, 이동적, 정보 비용이 모두 높았고, 상호 간에 상충 관계를 이루며, 모든 원하는 의사결정 지점을 조사하는 것은 현실적으로 불가능했다.
• 뒤로가기 및 지도 탐색 도구에 접근할 수 있었음에도 불구하고, 정보 접근이 조각나 있고 지연됨으로써 참가자들은 에이전트 전략에 대한 정확한 정신 모델을 형성하는 데 큰 어려움을 겪었다.