[論文レビュー] Psychlab: A Psychology Laboratory for Deep Reinforcement Learning Agents

Joel Z. Leibo, Cyprien de Masson d’Autume+11 more|arXiv (Cornell University)|Jan 24, 2018

EEG and Brain-Computer Interfaces参考文献 14被引用数 61

ひとこと要約

Psychlab は人間と深層RLエージェントの両方でクラシックな認知心理学実験を実行するDeepMind Labベースのプラットフォームを提供し、直接的なパフォーマンス比較と psychophysics 分析を可能にします。UNREAL のケーススタディは、サイズ/コントラスト効果が眼中心視（フォベア視）を改善することを明らかにします。

ABSTRACT

Psychlab is a simulated psychology laboratory inside the first-person 3D game world of DeepMind Lab (Beattie et al. 2016). Psychlab enables implementations of classical laboratory psychological experiments so that they work with both human and artificial agents. Psychlab has a simple and flexible API that enables users to easily create their own tasks. As examples, we are releasing Psychlab implementations of several classical experimental paradigms including visual search, change detection, random dot motion discrimination, and multiple object tracking. We also contribute a study of the visual psychophysics of a specific state-of-the-art deep reinforcement learning agent: UNREAL (Jaderberg et al. 2016). This study leads to the surprising conclusion that UNREAL learns more quickly about larger target stimuli than it does about smaller stimuli. In turn, this insight motivates a specific improvement in the form of a simple model of foveal vision that turns out to significantly boost UNREAL's performance, both on Psychlab tasks, and on standard DeepMind Lab tasks. By open-sourcing Psychlab we hope to facilitate a range of future such studies that simultaneously advance deep reinforcement learning and improve its links with cognitive science.

研究の動機と目的

• DeepMind Lab 内に柔軟な心理実験室としての Psychlab を導入し、クラシックな認知心理学タスクにおいて人間と深層RLエージェントをテストする。
• 視覚探索、チェンジ検出、ランダムドット運動識別、複数物体追跡などのタスクの実装を提供する。
• 最先端の深層RLエージェント（UNREAL）の視覚心理測定を分析し、潜在的なエージェント改善を導出する。
• 認知科学と深層強化学習を結びつける将来の研究を促進するために、Psychlab をオープンソース化する。

提案手法

• Psychlab プラットフォームとその DM-Lab 連携を説明する。
• ウィジェットと視線コールバックを備えたモニター上の刺激やタスクを構築するための Lua ベースの Psychlab API を概説する。
• Psychlab 実験で使用される強化学習の設定と報酬スキームを説明する。
• 心理物理的閾値を測定する適応階段法を提示し、エージェントに対するカリキュラム的な学習を可能にする。
• 視覚心理物理学を UNREAL に適用したケーススタディの詳細（視力、コントラスト感度、サイズ/コントラスト効果を含む）。

実験結果

リサーチクエスチョン

• RQ1 Psychlab 環境内で深層 RL エージェントは人間と比較して古典的な心理物理学タスクでどのようにパフォーマンスを示すか？
• RQ2 Psychlab タスクを通じてどのような認知/知覚機能を isolated でき、エージェントはこれらのタスクで人間とどのように異なるか？
• RQ3 心理物理学的測定（閾値、心理測定関数）は深層 RL エージェントの制約や強みを明らかにするか？
• RQ4 単純なアーキテクチャの変更や入力処理の変更（例：フォベア視モデル）は Psychlab タスクおよび関連 DM-Lab タスクでエージェントの性能を向上させるか？

主な発見

• UNREAL は同じ入力解像度でも人間より視力が劣る。
• UNREAL のコントラスト感度は人間と異なり、中程度のコントラストでは劣るが非常に低いコントラストではむしろ良い。
• UNREAL はターゲットのサイズと誘導物の有無の影響を強く受け、畳み込みネットの重み共有が大きなターゲットでの学習を加速する可能性を示唆する。
• グラスパターン検出は UNREAL に人間的な閾値を示し、白と黒のパターンの両方で同様のシグモイド型心理測定曲線と 0.5 のコヒーレンス周辺で 75% の閾値が観察される。
• 簡単なフォベア視メカニズムを導入すると、Psychlab および標準 DM-Lab タスクで UNREAL のパフォーマンスが改善する。
• Psychlab は学習ダイナミクスと深層 RL エージェントにおける畳み込み重み共有に起因する潜在的な局所最適解を特定するのに役立つ。