[논문 리뷰] Learning Personalized Models of Human Behavior in Chess

Reid McIlroy-Young, Russell Wang외 3명|arXiv (Cornell University)|2020. 08. 23.

Sports Analytics and Performance참고 문헌 58인용 수 9

한 줄 요약

이 논문은 개인 플레이어의 수순 기록을 기반으로 미세조정한 사전 학습된 AlphaZero 에이전트를 사용하여 개인 맞춤형 인간 체스 행동 모델을 제안한다. 반복적인 미세조정을 통해 모델을 특정 플레이어에 맞추어 적응시킴으로써, 개인의 체스 수를 높은 정확도로 예측할 수 있고, 정밀한 스타일로미터를 가능하게 하여 개인 맞춤형 AI 가 고유한 인간의 의사결정 패턴을 포착할 수 있음을 보여준다.

ABSTRACT

Even when machine learning systems surpass human ability in a domain, there are many reasons why AI systems that capture human-like behavior would be desirable: humans may want to learn from them, they may need to collaborate with them, or they may expect them to serve as partners in an extended interaction. Motivated by this goal of human-like AI systems, the problem of predicting human actions -- as opposed to predicting optimal actions -- has become an increasingly useful task. We extend this line of work by developing highly accurate personalized models of human behavior in the context of chess. Chess is a rich domain for exploring these questions, since it combines a set of appealing features: AI systems have achieved superhuman performance but still interact closely with human chess players both as opponents and preparation tools, and there is an enormous amount of recorded data on individual players. Starting with an open-source version of AlphaZero trained on a population of human players, we demonstrate that we can significantly improve prediction of a particular player's moves by applying a series of fine-tuning adjustments. Furthermore, we can accurately perform stylometry -- predicting who made a given set of actions -- indicating that our personalized models capture human decision-making at an individual level.

연구 동기 및 목표

• 최적의 수가 아닌 인간의 수를 예측하는 AI 모델을 개발하여 인간-AI 협업과 학습을 가능하게 하기.
• 이전 수순 데이터를 사용하여 일반 목적의 AI 에이전트를 개인화함으로써 특정 플레이어에 대한 예측 정확도를 향상시키기.
• 개인 맞춤형 모델이 개인의 플레이 스타일을 포착함으로써 이동 시퀀스의 저자를 식별하는 스타일로미터를 수행할 수 있는지 조사하기.
• 초인적 수준의 AI 모델(AlphaZero)을 미세조정하여 개인 수준에서 인간 같은 행동을 유도할 수 있는지 탐색하기.

제안 방법

• 특정 인간 플레이어의 수순 기록 데이터셋을 기반으로 사전 학습된 AlphaZero 에이전트를 미세조정하여 정책 네트워크를 그 플레이어의 행동에 맞추기.
• 개별 플레이어의 수순 기록을 사용하여 지도 학습을 적용해 모델의 정책 네트워크를 조정함으로써 일반적인 최적의 플레이에서 개인 맞춤형 의사결정으로 전환하기.
• 개별 플레이어의 배치 데이터를 반복적으로 사용해 점진적으로 모델의 행동을 관찰된 인간의 선택과 일치시킴.
• 동일 플레이어의 보류된 수순 시퀀스를 대상으로 개인화된 모델을 평가하여 예측 정확도 측정하기.
• 미세조정된 모델을 사용해 주어진 수순 시퀀스를 가장 많이 만들었을 플레이어를 식별하는 스타일로미터 수행하기.
• 체스가 풍부한 인간 수순 데이터와 초인적 AI 기준을 갖춘 도메인으로서의 풍부한 구조를 활용해 접근 방식을 검증하기.

실험 결과

연구 질문

• RQ1 초인적 수준의 AI 모델인 AlphaZero 를 미세조정하여 체스에서 개인 플레이어의 수를 정확하게 예측할 수 있는가?
• RQ2 개인 맞춤형 모델이 얼마나 정확하게 고유한 플레이 스타일을 포착할 수 있으며, 이로 인해 수순 시퀀스의 스타일로미터가 얼마나 정확하게 수행될 수 있는가?
• RQ3 개별 플레이어 데이터에 대한 미세조정이 기본 모델 대비 예측 성능을 얼마나 향상시키는가?
• RQ4 개인 맞춤형 모델이 동일 플레이어의 미리 보지 않은 수순 시퀀스에 잘 일반화되는가?

주요 결과

• 기본 AlphaZero 모델 대비 개인 플레이어에 대한 예측 정확도가 미세조정으로 크게 향상되었다.
• 개인 맞춤형 모델은 높은 정확도로 스타일로미터를 수행하여 수순 시퀀스의 저자를 강력한 성능으로 정확히 식별했다.
• 모델은 개인 수준에서 고유한 인간의 의사결정 패턴을 포착하여 성공적인 개인화가 이루어졌음을 시사했다.
• 초인적 수준의 AI 모델이 높은 정밀도로 인간의 행동을 모방하도록 적응시킬 수 있음을 입증했다.