[논문 리뷰] The Challenge of Believability in Video Games: Definitions, Agents Models and Imitation Learning

Fabien Tencé, Cédric Buche외 2명|arXiv (Cornell University)|2010. 09. 02.

Artificial Intelligence in Games참고 문헌 24인용 수 24

한 줄 요약

이 논문은 애니메이션 예술에서의 일반적인 '생명의 환영' 개념과는 다를 바, 비디오 게임 내에서 플레이어가 직접 제어하는 것처럼 보이게 하는 '인간의 제어를 받는다'는 환영을 '신뢰성'으로 정의한다. 이를 위해 도메인 특화 기준을 활용한 평가를 제안하며, 실시간에서 적응 가능한 인간 같은 행동을 달성하기 위해 온라인 및 빠른 학습 모델—특히 HMM과 Baum-Welch 알고리즘을 활용한 점진적 학습 알고리즘—의 사용을 강조한다.

ABSTRACT

In this paper, we address the problem of creating believable agents (virtual characters) in video games. We consider only one meaning of believability, ``giving the feeling of being controlled by a player'', and outline the problem of its evaluation. We present several models for agents in games which can produce believable behaviours, both from industry and research. For high level of believability, learning and especially imitation learning seems to be the way to go. We make a quick overview of different approaches to make video games' agents learn from players. To conclude we propose a two-step method to develop new models for believable agents. First we must find the criteria for believability for our application and define an evaluation method. Then the model and the learning algorithm can be designed.

연구 동기 및 목표

• 비디오 게임 내에서 '신뢰성'을 플레이어가 직접 제어하는 것처럼 보이게 하는 데 중점을 두어, 예술 분야의 일반적인 '생명의 환영' 개념과 구별된 채로 정의한다.
• 예측 불가능성, 학습 적응성, 반복적이거나 실패한 행동의 회피 등과 같은 도메인 특화 기준이 신뢰성에 영향을 미치는 바를 규명한다.
• 신뢰성 있는 에이전트를 설계하기 위한 이중 단계 방법론을 제안한다: (1) 평가 기준과 평가 방법을 정의하고, (2) 해당 기준에 따라 모델 및 학습 알고리즘을 선정하거나 설계한다.
• 게임 플레이 중에 플레이어 제어 환영을 유지하기 위해 온라인 및 빠른 학습이 반드시 필요하다는 점을 강조한다.
• 인간의 시연 행동을 모델링함으로써 인간 같은 행동을 달성하는 데 가장 적합한 접근으로 애니메이션 학습을 제안한다.

제안 방법

• 플레이어 상호작용과 게임 내 몸체 경험과의 일치를 위해 '플레이어에 의해 제어되고 있는 것처럼 보이게 하는 것'을 '신뢰성'으로 정의한다.
• 이중 단계 설계 프로토콜을 적용한다: (1) 적용 분야에 맞는 신뢰성 기준과 평가 방법을 식별하고, (2) 해당 기준에 기반해 행동 모델 및 애니메이션 학습 알고리즘을 선정하거나 설계한다.
• 게임 플레이 중 실시간으로 모수를 업데이트할 수 있도록, 은닉 마르코프 모델(HMM)에 대한 Baum-Welch 알고리즘과 같은 점진적 학습 기법을 적용한다.
• 과적합이나 무작위성 방지를 위해, 빠르고 관찰 가능한 학습과 제한된 시범 데이터로부터의 일반화를 위한 학습 제약 조건을 통합한다.
• 실시간에서의 구조적 또는 매개변수적 적응이 가능한 행동 모델과 학습 알고리즘을 조합하여 반응성과 신뢰성을 확보한다.
• 인간의 시범 데이터를 애니메이션 학습의 학습 데이터로 활용하여, 명시적 프로그래밍 없이도 인간 같은 의사결정을 재현한다.

실험 결과

연구 질문

• RQ1 플레이어 몸체 경험과 상호작용을 고려할 때, '생명의 환영' 개념을 넘어서 '플레이어에 의해 제어되고 있는 것처럼 보이는 것'을 어떻게 정의할 수 있는가?
• RQ2 게임 장르나 상호작용 유형에 따라 신뢰성 인식에 영향을 미치는 핵심 기준은 무엇이며, 그 기준은 어떻게 변화하는가?
• RQ3 실시간에서 인간 플레이어의 행동을 모방함으로써 애니메이션 학습이 얼마나 높은 수준의 신뢰성 있는 에이전트 행동을 생성할 수 있는가?
• RQ4 학습 과정이 빠르고 관찰 가능하며 일반화 가능하도록 하여 플레이어 제어 환영을 해치지 않도록 하기 위해, 학습 알고리즘은 어떻게 설계되어야 하는가?
• RQ5 상호작용 가능한 게임 환경에서 높은 수준의 신뢰성을 달성하기 위해 행동 모델과 학습 알고리즘을 선택할 때 발생하는 제약 조건과 상호 보완적 특성은 무엇인가?

주요 결과

• 비디오 게임 내에서의 신뢰성은 인간 플레이어가 제어하고 있는 것처럼 보이는 환영으로 정의할 때 가장 적절하며, 이는 전통 애니메이션에서의 광범위한 '생명의 환영' 개념과는 다릅니다.
• 예측 가능성과 학습 실패는 플레이어 제어 환영을 파괴하는 주요 결함이지만, 중간 정도의 예측 불가능성은 신뢰성을 향상시킬 수 있습니다.
• 애니메이션 학습은 인간의 행동을 시범 데이터로부터 직접 모델링하므로, 인간 같은 행동을 달성하는 데 매우 적합한 접근으로 확인되었습니다.
• 온라인 학습, 특히 HMM에 대한 Baum-Welch 알고리즘과 같은 점진적 알고리즘을 활용함으로써 실시간 적응이 가능하며, 이는 신뢰성 유지에 필수적인 빠르고 관찰 가능한 학습을 지원합니다.
• 신뢰성 있는 에이전트의 성공은 행동 모델, 학습 알고리즘, 게임 환경의 특정 제약 조건 간의 정렬에 크게 의존합니다.
• 인간과 단순한 에이전트의 신뢰성 평가를 먼저 수행하면, 더 복잡한 학습 기반 에이전트를 설계하기 위한 기준을 설정하는 데 도움이 됩니다.