[논문 리뷰] Psychlab: A Psychology Laboratory for Deep Reinforcement Learning Agents

Joel Z. Leibo, Cyprien de Masson d’Autume외 11명|arXiv (Cornell University)|2018. 01. 24.

EEG and Brain-Computer Interfaces참고 문헌 14인용 수 61

한 줄 요약

Psychlab은 인간과 심층 강화학습 에이전트 모두를 대상으로 고전적 인지 심리학 실험을 실행할 수 있는 DeepMind Lab 기반 플랫폼을 제공하여 직접적인 성능 비교와 심리물리학 분석을 가능하게 한다. UNREAL에 대한 사례 연구는 크기/대비 효과를 드러내며 중심 시야(foveal vision) 개선으로 이어진다.

ABSTRACT

Psychlab is a simulated psychology laboratory inside the first-person 3D game world of DeepMind Lab (Beattie et al. 2016). Psychlab enables implementations of classical laboratory psychological experiments so that they work with both human and artificial agents. Psychlab has a simple and flexible API that enables users to easily create their own tasks. As examples, we are releasing Psychlab implementations of several classical experimental paradigms including visual search, change detection, random dot motion discrimination, and multiple object tracking. We also contribute a study of the visual psychophysics of a specific state-of-the-art deep reinforcement learning agent: UNREAL (Jaderberg et al. 2016). This study leads to the surprising conclusion that UNREAL learns more quickly about larger target stimuli than it does about smaller stimuli. In turn, this insight motivates a specific improvement in the form of a simple model of foveal vision that turns out to significantly boost UNREAL's performance, both on Psychlab tasks, and on standard DeepMind Lab tasks. By open-sourcing Psychlab we hope to facilitate a range of future such studies that simultaneously advance deep reinforcement learning and improve its links with cognitive science.

연구 동기 및 목표

• DeepMind Lab 내부의 유연한 심리학 실험실로서 Psychlab을 도입하여 인간과 심층 RL 에이전트가 고전적 인지 심리학 과제에서 시험될 수 있도록 한다.
• 시각적 검색, 변화 검출, 무작위 점의 운동 판별, 다중 물체 추적과 같은 과제의 구현을 제공한다.
• 최신 심층 RL 에이전트(UNREAL)의 시각 심리물리학을 분석하고 잠재적 에이전트 개선점을 도출한다.
• 인지과학과 심층 강화학습을 연결하는 향후 연구를 촉진하기 위해 Psychlab을 오픈 소스로 제공한다.

제안 방법

• Psychlab 플랫폼과 DM-Lab 통합을 설명한다.
• 위젯과 시선 콜백을 포함한 모니터 위의 자극 및 과제를 구축하기 위한 Lua 기반의 Psychlab API를 개요화한다.
• Psychlab 실험에 사용된 강화학습 설정 및 보상 체계를 설명한다.
• 심리물리학적 임계치를 측정하고 에이전트에 커리큘럼 형태의 학습을 가능하게 하는 적응 계단 절차를 제시한다.
• 시각 심리물리학을 UNREAL에 적용한 사례 연구를 상세히 다루며 시각선명도(acuity), 대비 민감도, 그리고 크기/대비 효과를 포함한다.

실험 결과

연구 질문

• RQ1 심층 RL 에이전트가 Psychlab 환경에서 고전적 심리물리학 과제를 인간과 비교했을 때의 성능은 어떠한가?
• RQ2 Psychlab 과제를 통해 어떤 인지/지각 능력을 고립시킬 수 있으며 이러한 과제에서 에이전트와 인간은 어떻게 다른가?
• RQ3 심리물리학적 측정(임계치, 심리측정 함수)이 심층 RL 에이전트의 한계나 강점을 밝혀낼 수 있는가?
• RQ4 간단한 구조적 변화나 입력 처리 변화(예: 중심시야 모델)가 Psychlab 과제 및 관련 DM-Lab 과제에서 에이전트의 성능을 향상시키는가?

주요 결과

• UNREAL은 동일 입력 해상도에서도 인간보다 시각 선명도가 낮다.
• UNREAL의 대비 민감도는 인간과 다르게 중간 대비에서 더 낮고 아주 낮은 대비에서 더 잘 수행한다.
• UNREAL은 타깃 크기와 유혹 요소의 존재에 크게 영향을 받으며, 합성곱 신경망에서 가중치 공유 효과가 더 큰 타깃에 대한 학습을 가속화한다는 것을 시사한다.
• Glass 패턴 탐지는 UNREAL에서 인간과 유사한 임계치를 드러내며, 유사한 시그모이드 심리측정 곡선과 백색/흑색 패턴 모두에서 0.5 코히어런스 주변에 75% 임계치가 있다.
• 간단한 중심시야 시각 메커니즘을 도입하면 Psychlab 및 표준 DM-Lab 과제에서 UNREAL의 성능이 향상된다.
• Psychlab은 학습 동역학과 심층 RL 에이전트에서의 합성곱 가중치 공유로 인해 발생할 수 있는 잠재적 비최적의 국소 최적점을 식별할 수 있게 한다.