[논문 리뷰] Beyond Winning and Losing: Modeling Human Motivations and Behaviors Using Inverse Reinforcement Learning

Baoxiang Wang, Tongfang Sun외 1명|arXiv (Cornell University)|2018. 07. 01.

Digital Games and Media참고 문헌 19인용 수 6

한 줄 요약

이 논문은 환경 동역학이나 가상 행동 정보가 없이도 플레이어의 게임 플레이 트랙토리에서 다차원적 인간의 동기를 추론하는 역강화학습 프레임워크인 다중동기행동모델링(MMBM)을 제안한다. 월드 오브 워크래프트 아바타 히스토리 데이터셋에 적용한 결과, MMBM는 플레이어의 가치 구조를 정확히 복원하고, 이전 방법들보다 더 나은 행동 예측 성능를 보이며, 게임 업데이트가 Advancement와 Competition와 같은 동기 구조에 미치는 영향을 정량화한다.

ABSTRACT

In recent years, reinforcement learning (RL) methods have been applied to model gameplay with great success, achieving super-human performance in various environments, such as Atari, Go, and Poker. However, those studies mostly focus on winning the game and have largely ignored the rich and complex human motivations, which are essential for understanding different players' diverse behaviors. In this paper, we present a novel method called Multi-Motivation Behavior Modeling (MMBM) that takes the multifaceted human motivations into consideration and models the underlying value structure of the players using inverse RL. Our approach does not require the access to the dynamic of the system, making it feasible to model complex interactive environments such as massively multiplayer online games. MMBM is tested on the World of Warcraft Avatar History dataset, which recorded over 70,000 users' gameplay spanning three years period. Our model reveals the significant difference of value structures among different player groups. Using the results of motivation modeling, we also predict and explain their diverse gameplay behaviors and provide a quantitative assessment of how the redesign of the game environment impacts players' behaviors.

연구 동기 및 목표

• 승리 외의 인간 동기를 모델링하고, 성취, 사회성, 몰입과 같은 게임 플레이 동기 이론을 통합한다.
• 환경 동역학이나 인간 정책 정보에 접근할 수 없더라도 관측된 트랙토리에서 다차원 보상 함수를 추론하는 역강화학습 방법을 개발한다.
• 패치와 같은 게임 디자인 변화가 플레이어의 동기와 행동에 미치는 영향을 역사적 게임 플레이 데이터를 사용해 정량화한다.
• 행동 다양성을 다양한 플레이어 그룹 간에 설명할 수 있는 데이터 기반이며 해석 가능한 플레이어 가치 구조 모델을 제공한다.

제안 방법

• MMBM는 성취, 사회성, 몰입으로 그룹화된 10종의 동기 유형에 기반한 심리학적 분류 체계를 바탕으로 전체 보상 신호를 개별 구성요소로 분해한다.
• 각 보상 구성요소는 오프-폴리시 Q-학습을 사용한 딥 Q-네트워크(DQN)를 통해 독립적으로 추정되며, 이는 확장성과 효율성 있는 학습을 가능하게 한다.
• 역강화학습 문제는 관측된 트랙토리를 가장 잘 설명하는 가치 구조(보상 구성요소의 가중치)를 복원하기 위해 선형계획법으로 공식화된다.
• 관측된 행동들이 유추된 다보상 함수에 대해 최적임을 가정함으로써, 가상 행동이나 시뮬레이터 접근이 필요 없이 추론가능하다.
• 모델은 역사적 데이터에서 관측된 상태-행동 쌍만을 사용하므로, 월드 오브 워크래프트와 같은 실제 복잡한 게임에 적용 가능하다.
• 가장 관측된 트랙토리의 가능도를 최대화하는 방식으로 선형계획법을 통해 가치 구조가 학습된다.

실험 결과

연구 질문

• RQ1 단일 목표 강화학습 프레임워크를 초월하여, 게임 플레이에서 다층적 인간 동기를 어떻게 모델링할 수 있는가?
• RQ2 환경 동역학이나 정책 함수에 접근할 수 없더라도, 역강화학습이 실제 게임 플레이 데이터에서 복잡한 다차원 보상 함수를 얼마나 잘 추론할 수 있는가?
• RQ3 플레이어 그룹 간에 가치 구조는 어떻게 다름과 동시에 게임 업데이트에 대응해 시간이 지남에 따라 어떻게 변화하는가?
• RQ4 게임 디자인 변화가 플레이어의 동기와 행동에 미치는 영향을 정량적으로 평가하는 방법은 무엇인가?

주요 결과

• MMBM는 월드 오브 워크래프트 아바타 히스토리 데이터셋에서 플레이어 행동 예측 정확도 56.5%를 달성하여, 대규모 마진 Q-학습(47.2%)과 정책 모방(31.0%)을 능가했다.
• 모델은 다양한 플레이어 그룹 간에 명확히 구분되는 가치 구조를 성공적으로 복원하여, Advancement, Competition, Teamwork와 같은 동기의 우선순위에 차이가 있음을 드러냈다.
• 2008년 11월 라이크 킹의 유령 패치 출시 시점 주변에서 Advancement와 Competition 동기의 증가가 뚜렷하게 관측되었으며, 이는 레벨 제한 상향(레벨 80)과 신규 직업 도입과 상관관계가 있었다.
• 모델은 동기가 상호의존적임을 보여주었으며, Advancement 동기 증가와 함께 Teamwork 동기 감소가 관측되어 플레이어의 시간 할당에서 상호 대체 관계가 있음을 시사했다.
• 가치 구조는 시간이 지남에 따라 변화했으며, 출시 후 초기 몇 해 동안 Relationship과 Teamwork 동기가 상승하여 플레이어의 참여도와 사회적 통합이 증가했음을 반영했다.
• 모델은 동기 가중치의 시간적 변화를 분석함으로써 게임 업데이트의 영향을 정량화하였으며, 게임 디자인 평가에 실용적 활용 가능성을 입증했다.