[論文レビュー] Investigating Human Priors for Playing Video Games

Rachit Dubey, Pulkit Agrawal+3 more|arXiv (Cornell University)|Feb 28, 2018

Artificial Intelligence in Games参考文献 26被引用数 95

ひとこと要約

この論文は、人間の先验知識（意味論、オブジェクト性、アフォーダンス、類似性、重力）が設計されたビデオゲームの解決にどのように役立つかを定量化し、これらの先验知識を除去するとパフォーマンスが劇的に低下することを示しています（約2分から>20分へ）一方で RL は影響を受けにくいままです。

ABSTRACT

What makes humans so good at solving seemingly complex video games? Unlike computers, humans bring in a great deal of prior knowledge about the world, enabling efficient decision making. This paper investigates the role of human priors for solving video games. Given a sample game, we conduct a series of ablation studies to quantify the importance of various priors on human performance. We do this by modifying the video game environment to systematically mask different types of visual information that could be used by humans as priors. We find that removal of some prior knowledge causes a drastic degradation in the speed with which human players solve the game, e.g. from 2 minutes to over 20 minutes. Furthermore, our results indicate that general priors, such as the importance of objects and visual consistency, are critical for efficient game-play. Videos and the game manipulations are available at https://rach0012.github.io/humanRL_website/

研究の動機と目的

• さまざまなタイプの人間の先验知識が、設計されたブラウザベースのゲームの速度と成功に与える影響を測定する。
• 意味論、オブジェクト性、アフォーダンス、類似性をマスクするように視覚情報を系統的にアブレーションする。
• 先行知識をマスクした場合の人間のパフォーマンスを、スパース報酬設定で好奇心ベースの RL と比較して、先验知識の役割を強調する。

提案手法

• controllable elements（鍵、扉、はしご、敵、トゲ）を備えたブラウザベースのプラットフォームゲームを設計する。
• 特定の先験をマスクするためにテクスチャを再描画し、物理的相互作用を変更して複数のゲーム版を作成する。
• 各版をプレイするために120人の MTurk 参加者を募集し、位置、時間、死亡を記録する。
• 意味論、オブジェクトをサブゴールとして、アフォーダンス、視覚的類似性を対象としたアブレーションを実施し、パフォーマンスの変化を測定する。
• 重力と制御の変更を導入して、物理と運動先験の効果を調べる。
• manipulated バージョン全体で、スパース報酬の下で好奇心ドリブンな RL エージェントと人間の結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 ビデオゲームにおけるオブジェクト意味論、オブジェクトの存在感、アフォーダンス、視覚的類似性の相対的重要性は何か。
• RQ2 各先験をマスクすることが、人間の探査、効率、成功時間にどのように影響するか。
• RQ3 先験知識をマスクした場合、スパース報酬環境で人間と RL エージェントを比較するとどうなるか。
• RQ4 相互作用デザイン（物体との関与の仕方）は、知覚的先験を超えてパフォーマンスを調整するか。
• RQ5 オブジェクト先験の分類が、効率的なゲームプレイにとって最も重要な先験を予測できるか。

主な発見

• 意味論を除去すると、平均完了時間と死亡回数が2倍になり、探索状態が増える。
• オブジェクト先验をマスクするとパフォーマンスが劇的に悪化し、オブジェクトが探索のサブゴールとして機能することを示唆する。
• アフォーダンスを除去するか視覚的類似性をマスクすると、類似性はオブジェクト先験に次ぐ影響力のある先験であり、パフォーマンスが大幅に低下する。
• すべてのオブジェクト先験をマスクすると、人間はほぼランダムに近い動作となり、解決までおよそ20分、死は約40回となり、効率的な探索には先験に依存していることを示す。
• RLエージェントは意味論、オブジェクト性、アフォーダンスにはほとんど感度を示さないが、視覚的類似性には影響を受けることから、先験は人間の効率性の中心にあるが、すべての RL アルゴリズムに必須というわけではないことを示唆する。