[논문 리뷰] Investigating Human Priors for Playing Video Games

Rachit Dubey, Pulkit Agrawal외 3명|arXiv (Cornell University)|2018. 02. 28.

Artificial Intelligence in Games참고 문헌 26인용 수 95

한 줄 요약

이 논문은 다양한 인간 사전 지식(의미, 객체성, 활용성, 유사성, 중력)이 설계된 비디오 게임 해결에 인간을 어떻게 돕는지 정량화하고, 이러한 사전 지식을 제거하면 성능이 급격히 느려진다는 것을 보여준다(약 2분에서 >20분으로). 반면 RL은 상대적으로 덜 영향을 받는다.

ABSTRACT

What makes humans so good at solving seemingly complex video games? Unlike computers, humans bring in a great deal of prior knowledge about the world, enabling efficient decision making. This paper investigates the role of human priors for solving video games. Given a sample game, we conduct a series of ablation studies to quantify the importance of various priors on human performance. We do this by modifying the video game environment to systematically mask different types of visual information that could be used by humans as priors. We find that removal of some prior knowledge causes a drastic degradation in the speed with which human players solve the game, e.g. from 2 minutes to over 20 minutes. Furthermore, our results indicate that general priors, such as the importance of objects and visual consistency, are critical for efficient game-play. Videos and the game manipulations are available at https://rach0012.github.io/humanRL_website/

연구 동기 및 목표

• 다양한 유형의 인간 사전 지식이 설계된 브라우저 기반 게임에서 속도와 성공에 어떤 영향을 미치는지 측정한다.
• 의미, 객체성, 활용성, 유사성을 마스킹하기 위해 시각 정보를 체계적으로 제거한다.
• 희소 보상 환경에서 호기심 기반 RL과 인간의 성능을 비교하여 사전 지식의 역할을 강조한다.

제안 방법

• 제어 가능한 요소들(열쇠, 문, 사다리, 적, 가시돌기)을 포함한 브라우저 기반 플랫폼 게임을 설계한다.
• 특정 사전 지식을 마스킹하기 위해 텍스처를 재렌더링하고 물리적 상호 작용을 변경한 여러 게임 버전을 만든다.
• 각 버전마다 120명의 MTurk 참가자를 모집하고 위치, 시간, 사망 수를 기록한다.
• 의미, 객체를 하위 목표로 하는 것, 활용성, 시각적 유사성을 표적으로 하는 제거를 수행하여 성능 변화를 측정한다.
• 중력과 제어 변화를 도입하여 물리학 및 운동 사전의 영향을 연구한다.
• Manipulated 버전에서 사전의 영향을 비교하기 위해 사람의 결과를 희소 보상 하에서 호기심 주도 RL 에이전트와 비교한다.

실험 결과

연구 질문

• RQ1 객체의 의미, 객체 존재 여부, 활용성, 시각적 유사성이 인간의 비디오 게임 문제 해결에 대해 상대적으로 얼마나 중요한가?
• RQ2 각 사전을 마스킹했을 때 인간의 탐험, 효율성, 성공 시간에 어떤 영향이 나타나는가?
• RQ3 희소 보상 환경에서 사전이 마스킹되었을 때 인간과 RL 에이전트의 비교는 어떻게 달라지는가?
• RQ4 상호 작용 설계(객체와의 상호 작용 방식)가 지각적 사전 외에 성능에 어떤 교란을 주는가?
• RQ5 객체 사전의 분류가 효율적 게임 플레이에 가장 중요한 사전을 예측할 수 있는가?

주요 결과

• 의미를 제거하면 평균 완료 시간과 사망 수가 두 배로 증가하고 탐색 상태 수가 원래 게임에 비해 증가한다.
• 객체 사전을 마스킹하면 성능이 크게 악화되며, 이는 객체가 탐색의 하위 목표로 작용한다는 것을 시사한다.
• 활용성을 제거하거나 시각적 유사성을 마스킹하면 성능이 크게 하락하고, 유사성은 객체 사전 다음으로 두 번째로 영향력 있는 사전이다.
• 모든 객체 사전이 마스킹되면 인간은 거의 무작위로 수행하며 약 20분 안에 해결하고 약 40회의 사망을 기록하는데, 이는 효율적 탐색에 대한 사전 의존성을 보여준다.
• RL 에이전트는 의미, 객체성, 또는 활용성에 거의 민감하지 않지만 시각적 유사성에는 영향을 받으며, 이는 사전이 인간의 효율성의 중심이지만 모든 RL 알고리즘에 필수적이지는 않다는 것을 시사한다.