[논문 리뷰] Active player modelling

Julian Togelius, Noor Shaker외 1명|arXiv (Cornell University)|2013. 12. 01.

Machine Learning and Algorithms참고 문헌 8인용 수 3

한 줄 요약

이 논문은 플레이어 모델링에 주도적 학습을 도입하여 시스템이 가장 정보적인 플레이어 상호작용을 선택함으로써 데이터 수집을 최적화하고 학습 효율성을 크게 향상시킨다. 이 접근법은 공식적인 궁금증 모델과 연결되며, 주도적 플레이어 모델링이 플레이어의 자기 주도적 궁금증과 본질적으로 대칭적이며 자연스럽게 흥미로운 방식으로 플레이어를 탐색할 수 있음을 시사한다.

ABSTRACT

We argue for the use of active learning methods for player modelling. In active learning, the learning algorithm chooses where to sample the search space so as to optimise learning progress. We hypothesise that player modelling based on active learning could result in vastly more efficient learning, but will require big changes in how data is collected. Some example active player modelling scenarios are described. A particular form of active learning is also equivalent to an influential formalisation of (human and machine) curiosity, and games with active learning could therefore be seen as being curious about the player. We further hypothesise that this form of curiosity is symmetric, and therefore that games that explore their players based on the principles of active learning will turn out to select game configurations that are interesting to the player that is being explored.

연구 동기 및 목표

• 수집된 데이터의 효율성을 높이기 위해 수동적 데이터 수집에서 주도적 데이터 수집으로의 전환을 목표로 한다.
• 주도적 학습이 정확한 플레이어 모델을 구축하기 위해 필요한 데이터의 양을 줄일 수 있는 방법을 탐구한다.
• 주도적 학습과 게임 내 공식적인 궁금증 모델 간의 연관성을 탐색한다.
• 주도적 학습이 게임과 플레이어 간 상호 흥미로운 상호작용을 가능하게 하여 상호 대칭적인 탐색을 이끌 수 있음을 제안한다.

제안 방법

• 학습 알고리즘이 학습 진전을 극대화하기 위해 플레이어 검색 공간에서 어디에 샘플링할지를 선택한다.
• 주도적 학습은 플레이어 반응에서 가장 정보적인 결과를 얻을 수 있는 게임 설정을 선택하는 방식으로 플레이어 모델링에 적용된다.
• 이 방법은 예측 불확실성에 의해 탐색이 이뤄지는 궁금증 모델과 공식적으로 연결된다.
• 시스템은 플레이어 모델 예측의 불확실성에 따라 게임 콘텐츠를 동적으로 조정한다.
• 이 방법은 가장 정보적인 게임 상태가 플레이어 행동 예측의 모호성을 줄이는 데 기여하는 것으로 가정한다.
• 플레이어 탐색을 상호 발견의 과정으로 프레임화하며, 게임과 플레이어가 서로를 배우게 된다.

실험 결과

연구 질문

• RQ1 주도적 학습은 수동적 데이터 수집에 비해 플레이어 모델링의 효율성을 어떻게 향상시킬 수 있는가?
• RQ2 주도적 학습은 게임 내 공식적인 궁금증 모델과 어떤 방식으로 동일한가?
• RQ3 주도적 학습은 게임의 선택이 플레이어의 선택만큼 흥미로운 상호 대칭적 탐색을 가능하게 할 수 있는가?
• RQ4 플레이어를 모델링할 때 주도적 학습 시스템은 어떤 종류의 게임 설정을 선택하는가?
• RQ5 주도적 학습은 플레이어 모델 확보의 품질과 속도에 어떤 영향을 미치는가?

주요 결과

• 주도적 학습은 가장 정보적인 상호작용에 집중함으로써 정확한 플레이어 모델을 구축하기 위해 필요한 데이터의 양을 극적으로 줄일 수 있다.
• 플레이어 모델링에 적용된 주도적 학습은 잘 알려진 궁금증 모델과 공식적으로 동일하므로, 인공지능의 탐색이 인간의 호기심과 유사한 방식으로 이뤄진다.
• 이 방법은 정보성뿐 아니라 플레이어에게도 흥미로운 게임 설정을 선택할 수 있도록 한다.
• 시스템의 탐색 전략은 대칭적이며, 게임의 선택이 플레이어의 선택만큼 흥미로운 것으로 간주된다.
• 주도적 학습 기반 플레이어 모델링은 더 효율적이고 잠재적으로 더 흥미로운 상호작용을 가능하게 한다.
• 이 프레임워크는 주도적 학습을 사용하는 게임이 자연스럽게 플레이어를 개인적으로 관련되고 자극적인 방식으로 탐색하게 되며, 이는 본질적으로 유사한 경험을 제공할 수 있음을 시사한다.