[논문 리뷰] Understanding Mental Models of AI through Player-AI Interaction

Jennifer Villareale, Jichen Zhu|arXiv (Cornell University)|2021. 03. 30.

Explainable Artificial Intelligence (XAI)참고 문헌 44인용 수 8

한 줄 요약

이 논문은 인공지능 기반 게임, 특히 플레이어-인공지능 상호작용 역학을 사용하여 사용자의 인공지능에 대한 정신모델의 진화를 제어 가능한 환경에서 연구할 것을 제안한다. 질문 구성 및 실패 원인 규명과 같은 게임 플레이 데이터를 분석함으로써 연구자들은 사용자가 인공지능의 능력을 어떻게 점진적으로 재구성하는지 추적할 수 있으며, 이는 XAI에서 인간 중심의 상호작용형 설명을 설계하는 데 핵심적인 통찰을 제공한다.

ABSTRACT

Designing human-centered AI-driven applications require deep understandings of how people develop mental models of AI. Currently, we have little knowledge of this process and limited tools to study it. This paper presents the position that AI-based games, particularly the player-AI interaction component, offer an ideal domain to study the process in which mental models evolve. We present a case study to illustrate the benefits of our approach for explainable AI.

연구 동기 및 목표

• 실시간 상호작용을 통해 사용자가 낮은 위험도의 환경에서 인공지능에 대한 정신모델을 어떻게 형성하고 수정하는지 조사하기 위해.
• 사람-인공지능 상호작용 중 정신모델의 동적이고 순간적인 진화에 대한 이해 부족을 해소하기 위해.
• 게임 플레이 데이터가 전통적인 방법(예: 생각을 말하는 프로토콜)과 함께 정신모델 발달의 대체 지표로 기능할 수 있는지 탐색하기 위해.
• 플레이어가 인공지능 피드백에 기반해 전략을 어떻게 수정하는지 관찰함으로써 상호작용형 인간 중심 설명 가능 인공지능(XAI)의 설계 함의를 도출하기 위해.
• 실패 원인 규명(자기 자신 vs. 인공지능)이 정신모델의 정교화와 학습과 어떻게 관련되어 있는지 검토하기 위해.

제안 방법

• 플레이어가 스마트 스피커(예: 알렉사)를 통해 목표 단어를 추측하는 협동형 단어 추측 게임을 사용한 사례 연구를 수행하였다.
• 게임 플레이 데이터를 수집하고 분석하여 라운드 간 질문 구성 변화를 추적함으로써 전략과 이해도의 변화를 분석하였다.
• 플레이어의 상호작용에서 탐색(가설 테스트)과 확장(피드백에 기반한 질문 정교화) 사이의 반복적 사이클을 추적하였다.
• 라운드 후 팀 토론을 분석하여 플레이어가 실패를 자신에게서 기인한다고 보는지, 인공지능에게서 기인한다고 보는지 분석함으로써 정신모델 수정 과정에 대한 통찰을 확보하였다.
• 상호작용 트레이스의 정성적 및 순차적 분석을 통해 자가 보고에 의존하지 않고도 정신모델의 발달을 추론하였다.
• 질문 구조의 변화(예: 전체 문장에서 키워드 기반 질의로의 전환)를 통해 인공지능 능력에 대한 정신모델의 진화를 매핑하였다.

실험 결과

연구 질문

• RQ1 플레이어의 질문 구성 방식은 인공지능 피드백에 어떻게 반응하여 시간이 지남에 따라 변화하는가? 이는 정신모델 발달에 대해 무엇을 드러내는가?
• RQ2 실패 원인 규명(자기 자신 vs. 인공지능)은 사용자의 인공지능 정신모델 수정 과정에 어떤 역할을 하는가?
• RQ3 플레이어가 인공지능 시스템과 상호작용하는 동안 탐색 단계에서 확장 단계로의 전략 전환은 어떤 방식으로 이루어지는가?
• RQ4 게임 플레이 데이터는 실시간 정신모델 진화의 신뢰할 수 있는 대체 지표로 기능할 수 있는가? 특히 전통적인 자가 보고 방법과 비교하여 어떻게 되는가?
• RQ5 관찰된 정신모델 형성 패턴을 바탕으로 상호작용형 인간 중심 설명 가능 인공지능 설계에 도출되는 함의는 무엇인가?

주요 결과

• 플레이어들은 초기에는 넓은 주제를 테스트하는 탐색적 접근을 취한 후, 인공지능 응답에 기반해 질문을 정교화하는 반복적 사이클을 거쳤다.
• 플레이어들이 인공지능이 전체 문장이 아닌 키워드를 처리한다는 점을 인지함에 따라 전략에 중요한 전환점이 나타났으며, 이는 웹 검색 방식의 질문 구성으로 이어졌다.
• 실패를 자신에게 기인한다고 보는 플레이어들은 더 정신모델을 수정하고 질문 전략을 정교화하는 경향이 있었으며, 이는 더 적응적인 학습 과정을 의미했다.
• 실패를 인공지능에게 기인한다고 보는 플레이어들은 정신모델을 고정된 상태로 유지하고 유사한 질문을 반복하는 경향이 있었으며, 이는 모델 진화가 제한적임을 시사했다.
• 게임 플레이 데이터는 자가 보고나 상호작용 후 설문조사로는 포착되지 않은 미묘하고 무의식적인 이해의 변화를 드러냈다.
• 이 연구는 상호작용 트레이스—특히 질문의 진화와 실패 원인 규명—가 실시간으로 정신모델 발달을 신뢰할 수 있는 지표로 기능할 수 있음을 입증하였다.