[논문 리뷰] Automatable Evaluation Method Oriented toward Behaviour Believability for Video Games

Fabien Tencé, Cédric Buche|arXiv (Cornell University)|2010. 09. 02.

Artificial Intelligence in Games참고 문헌 5인용 수 9

한 줄 요약

이 논문은 지구 이동 거리(EMD)를 사용하여 인간의 행동 벡터와 비교함으로써 비디오 게임 캐릭터의 신뢰성 있는 행동 평가를 자동화된 서명 기반 방법으로 제안한다. 이 방법은 인간 평가자 없이도 고속 반복 평가를 가능하게 하며, 단순한 운동 기반 서명을 사용함에도 불구하고 인간과 에이전트 간의 미세한 차이를 드러낸다.

ABSTRACT

Classic evaluation methods of believable agents are time-consuming because they involve many human to judge agents. They are well suited to validate work on new believable behaviours models. However, during the implementation, numerous experiments can help to improve agents' believability. We propose a method which aim at assessing how much an agent's behaviour looks like humans' behaviours. By representing behaviours with vectors, we can store data computed for humans and then evaluate as many agents as needed without further need of humans. We present a test experiment which shows that even a simple evaluation following our method can reveal differences between quite believable agents and humans. This method seems promising although, as shown in our experiment, results' analysis can be difficult.

연구 동기 및 목표

• 에이전트의 신뢰성 평가에 인간 평가자를 줄이기 위해, 이는 대규모 테스트에 비효율적이고 시간이 많이 소요되기 때문이다.
• 반복적인 개발 및 최적화 과정에서 에이전트 행동을 자동으로 반복 가능하게 평가할 수 있는 방법을 개발하기 위해.
• 비디오 게임에서 인간 같은 의사결정 및 이동 패턴의 핵심 요소를 포착하는 행동 서명을 만드는 것.
• 벡터 기반 유사도 측정법, 특히 EMD가 인간과 에이전트 행동 간의 차이를 효과적으로 탐지할 수 있는지 평가하기 위해.
• 기존 인간 평가와의 보완 도구로 이 방법을 활용할 수 있는지의 가능성을 탐색하기 위해.

제안 방법

• 게임 환경에서 모니터링된 인지 및 행동 데이터에서 유도된 기능 벡터(서명)로 에이전트 및 인간 행동을 표현한다.
• 행동 서명 간의 이질성(비유사성)을 측정하기 위해 지구 이동 거리(EMD) 메트릭을 사용하며, 단순한 L2 거리보다 형태 기반 유사성에 더 중점을 둔다.
• 공정한 비교를 위해 동일한 조건에서 인간 플레이어와 에이전트의 행동 데이터를 수집한다.
• EMD로 유도된 이질성 행렬을 기반으로 다차원 척도법(MDS)을 적용하여 서명 간 상대적 거리를 유지하는 방식으로 시각화한다.
• 이동 패턴의 신뢰성과 관련된 요소를 포착하기 위해 속도 변화와 상대 방향 기반 서명을 설계한다.
• 반복 가능한 파이프라인에 이 방법을 적용하여 인간의 입력 없이도 에이전트 행동 모델을 평가하고 최적화한다.

실험 결과

연구 질문

• RQ1 행동 및 인지 데이터에서 유도된 행동 서명이 비디오 게임에서 인간 같은 행동을 효과적으로 포착할 수 있는가?
• RQ2 L2 거리가 실패하는 상황에서 지구 이동 거리(EMD)가 인간과 에이전트 행동 패턴 간의 의미 있는 차이를 어느 정도 탐지할 수 있는가?
• RQ3 자동화된 서명 기반 평가가 인간의 판단에 비해 신뢰성 차이를 탐지하는 데 얼마나 효과적인가?
• RQ4 이 방법이 신뢰성 있는 에이전트 행동을 위한 최적화 파이프라인에서 파rameter 조정을 지원할 수 있는가?
• RQ5 글로벌, 맥락적, 시간적 서명 중 어떤 종류가 미세한 신뢰성 신호를 탐지하는 데 가장 효과적인가?

주요 결과

• 지구 이동 거리(EMD)는 L2 거리보다 행동 서명 간 유사성 탐지에서 뛰어난 성능을 보였으며, 동일한 L2 거리에도 불구하고 V1과 V2가 가장 유사하다는 점을 정확히 식별했다.
• EMD 기반 이질성 행렬의 다차원 척도법(MDS) 시각화 결과 원래의 거리 관계를 잘 유지했으며, 스트레스 값이 0.003 이하로 낮아 좋은 표현 충실도를 보였다.
• 단지 두 가지 간단한 운동 기반 서명만을 사용했음에도 불구하고, 이 방법은 에이전트의 행동 패턴이 인간과 인지적으로 뚜렷하게 다름을 드러냈다. 특히 주성분 분석(PCA)을 통해 인간과 에이전트 클러스터 간의 분리가 더 명확히 드러났다.
• 이 방법은 에이전트가 이동 패턴에서 전반적으로 인간과 유사하지만, 입력 제한(예: 키보드 제약)이 없어 인간처럼 정밀하지 않은 행동을 보여, 가까이서 관찰하면 식별 가능하다는 점을 탐지했다.
• 결과적으로 글로벌 서명은 넓은 유사성을 드러내지만, 보다 높은 정밀도의 신뢰성 평가를 위해서는 맥락적 및 시간적 서명이 필요할 수 있음을 시사한다.
• 이 방법은 인간 평가자 없이도 확장 가능하고 반복 가능한 에이전트 평가를 가능하게 하며, 자동화된 개발 파이프라인에 통합 가능하다.