[논문 리뷰] Utility of a Behavlets approach to a Decision theoretic predictive player model

Benjamin Ultan Cowley, Darryl Charles|arXiv (Cornell University)|2016. 03. 29.

Artificial Intelligence in Games참고 문헌 7인용 수 4

한 줄 요약

이 논문은 플레이어 심리, 게임 구조, 행동 시퀀스를 통합하는 Behavlets 접근법을 사용하여 팩맨에서 의사결정 이론 기반 예측 플레이어 모델의 성능을 향상시키는 기초로 평가한다. 기본 상태 특징 대신 심리학에 기반한 복합 Behavlets를 도입함으로써, 모델은 35% 높은 정확도와 실시간 성능을 달성하였으며, 이는 행동 기반 특징이 게임 AI의 예측 모델링에 상당한 기여를 한다는 것을 입증한다.

ABSTRACT

We present the second in a series of three academic essays which deal with the question of how to build a generalized player model. We begin with a proposition: a general model of players requires parameters for the subjective experience of play, including at least three areas: a) player psychology, b) game structure, and c) actions of play. Based on this proposition, we pose three linked research questions, which make incomplete progress toward a generalized player model: RQ1 what is a necessary and sufficient foundation to a general player model?; RQ2 can such a foundation improve performance of a computational intelligence-based player model?; and RQ3 can such a player model improve efficacy of adaptive artificial intelligence in games? We set out the arguments for each research question in each of the three essays, presented as three preprints. The second essay, in this preprint, illustrates how our 'Behavlets' method can improve the performance and accuracy of a predictive player model in the well-known Pac-Man game, by providing a simple foundation for areas a) to c) above. We then propose a plan for future work to address RQ2 by conclusively testing the Behavlets approach. This plan builds on the work proposed in the first preprint essay to address RQ1, and in turn provides support for work on RQ3. The Behavlets approach was described previously; therefore if citing this work please use the correct citation: Cowley B, Charles D. Behavlets: a Method for Practical Player Modelling using Psychology-Based Player Traits and Domain Specific Features. User Modelling and User-Adapted Interaction. 2016 Feb 8; online (Special Issue on Personality in Personalized Systems):1-50.

연구 동기 및 목표

• 심리학에 기반한 기초(예: Behavlets)가 계산 지능 기반 예측 플레이어 모델의 성능을 향상시키는지 조사하는 것.
• 기존 모델에서 주관적인 플레이어 경험(심리학, 게임 구조, 행동 역학 포함)의 통합 부족을 보완하는 것.
• 이러한 기초가 모델 정확도와 반응성 향상으로 이어져 적응형 AI의 효용성과 반응성을 향상시키는지 평가하는 것.
• Behavlets를 활용해 플레이어 특성과 게임 전용 행동을 예측 모델에 통합하는 실용적 방법으로서의 경험적 검증을 제공하는 것.
• 향후 일반 플레이어 모델링 연구의 기초를 마련하기 위해 검증된 심리학적 및 디자인 기반 특징을 AI 의사결정 프레임워크에 통합하는 것.

제안 방법

• Behavlets 방법을 사용해 팩맨의 연장된 행동 시퀀스에서 복합 특징을 추출하여 플레이어 심리, 게임 메커니즘, 디자인 패턴을 관측 가능한 행동적 특성으로 연결한다.
• 두 개의 의사결정 이론 기반 모델을 비교한다: 하나는 기본 게임 상태 특징을 사용하는 기준 모델이며, 다른 하나는 Behavlet에서 유도된 복합 특징을 사용해 유틸리티 함수를 계산한다.
• 유틸리티 함수는 유한한 계획 수평 내에서 기대 유틸리티를 최대화하도록 행동을 선택하는 의사결정 이론 프레임워크를 사용해 계산된다.
• 통제 실험을 통해 정확도(정확한 이동 예측 비율)와 실행 속도(상태 업데이트당 밀리초)를 기준으로 모델 성능을 측정한다.
• 특징 중요도는 제거 분석을 통해 평가된다: 각 Behavlet을 번갈아가며 제거하여 정확도와 속도에 미치는 영향을 측정한다.
• 상관 분석을 통해 Behavlets 기반의 이전 플레이어 유형 분류 결과와 모델 예측 정확도 간의 관계를 분석하여 접근법의 이식 가능성(transferability)을 검증한다.

실험 결과

연구 질문

• RQ1 플레이어 심리, 게임 구조, 행동 역학을 통합하는 일반화된 플레이어 모델을 위한 필수적이고 충분한 기초는 무엇인가?
• RQ2 이러한 기초가 계산 지능 기반 예측 플레이어 모델의 알고리즘 성능과 정확도를 향상시킬 수 있는가?
• RQ3 이 기초에 기반한 플레이어 모델이 게임 내 적응형 AI의 효용성과 반응성을 향상시킬 수 있는가?
• RQ4 기본 상태 특징에 비해 Behavlet에서 유도된 특징은 예측 정확도에 어느 정도 기여하는가?
• RQ5 심리학적 및 행동적 특징(Behavlets를 통해)은 플레이어 유형 분류와 예측 성능에 어떻게 상관관계가 있는가?

주요 결과

• Behavlet 기반 모델은 72.7%의 정확도를 달성하였으며, 이는 기본 상태 특징만을 사용한 기준 모델의 72.7% 정확도 대비 35% 향상된 성능이다.
• Behavlet 모델은 상태당 240ms의 실시간 성능를 달성한 반면, 기준 모델은 비실시간 속도로 작동하였다.
• Points_Max 특징을 제거하면 정확도가 약 16% 감소하여 유틸리티 계산에서 이 특징이 지배적인 영향을 미친다는 것을 시사한다.
• 기타 Behavlets들은 나머지 성능 향상에 기여하였으며, 특정 특징이 지배적이지 않았고, 이는 상호 보완적 상호작용이 존재함을 시사한다.
• 플레이어 유형 분류(승리자 대 비승리자)와 모델 예측 정확도 사이에 통계적으로 유의미한 양의 상관관계(r = 0.5, p = 0.001)가 확인되어 Behavlets의 플레이어 모델링에 대한 관련성이 뒷받침된다.
• 실행 속도와 정확도 간의 상관관계는 약하고 유의미하지 않았다(r = 0.16, p ≈ 0.1), 이는 성능 향상이 더 긴 계산 시간 때문이 아니라는 것을 시사한다.