[논문 리뷰] DeepMind Lab

Charles Beattie, Joel Z. Leibo외 19명|arXiv (Cornell University)|2016. 12. 12.

Artificial Intelligence in Games인용 수 40

한 줄 요약

DeepMind Lab는 Quake III Arena 엔진 기반으로 제작된 1인칭 3차원 강화학습 플랫폼으로, 복잡하고 시각적으로 풍부하며 물리적으로 현실적인 환경을 통해 일반 인공지능을 연구하기 위해 설계되었다. 이 플랫폼은 RGB, RGBD 및 속도 관측치를 지원하는 유연한 API를 통해 에이전트가 탐색, 계획 수립, 시각운동 제어를 학습할 수 있도록 하며, 84×84 해상도에서 GPU 기반으로 최대 996.6 FPS의 프레임 레이트를 제공한다.

ABSTRACT

DeepMind Lab is a first-person 3D game platform designed for research and development of general artificial intelligence and machine learning systems. DeepMind Lab can be used to study how autonomous artificial agents may learn complex tasks in large, partially observed, and visually diverse worlds. DeepMind Lab has a simple and flexible API enabling creative task-designs and novel AI-designs to be explored and quickly iterated upon. It is powered by a fast and widely recognised game engine, and tailored for effective use by the research community.

연구 동기 및 목표

• 복잡하고 시각적으로 풍부하며 물리적으로 현실적인 세계에서 일반 인공지능 에이전트를 훈련하기 위한 확장 가능하고 고성능의 3차원 환경을 구축하기 위해.
• Atari와 같은 2차원 환경의 한계와 덜 민감한 3차원 플랫폼의 한계를 극복하기 위해 1인칭 3차원 탐색 및 세밀한 제어를 가능하게 하기 위해.
• 부분적으로 관측 가능한 동적 환경에서 탐색과 자기지도 학습 목표를 통해 학습하는 자율 에이전트의 개발을 지원하기 위해.
• 새로운 강화학습 알고리즘과 작업 설계의 빠른 프로토타이핑을 가능하게 하는 연구 플랫폼을 제공하기 위해.
• богат한 감각 입력과 현실적인 물리 법칙을 갖춘 플랫폼에서 일반화, 계획 수립, 시각운동 조율 능력을 평가하기 위해.

제안 방법

• 오픈소스 ioquake3 엔진 기반으로 구축되었으며, 다양한 3차원 환경을 생성하기 위해 커스터마이징된 자산과 레벨 생성 도구(q3map2, bspc)를 사용한다.
• 에이전트의 1인칭 시점에서의 원시 RGB 및 RGBD(픽셀 단위의 깊이 정보 포함) 관측치를 노출하며, 속도 및 보상 신호를 선택적으로 제공한다.
• 3D 이동(전진/후진, 스트레이프, 쿠션, 점프), 3D 시선 제어(상하, 좌우), 특정 게임 모드에서 태깅 기능을 포함한 풍부한 액션 공간을 지원한다.
• 환경이 에이전트의 각 동작에 따라 한 스텝씩 진행되는 락스텝 시뮬레이션 루프를 사용하여 결정론적이고 고정밀한 강화학습 훈련을 가능하게 한다.
• RL 프레임워크와의 원활한 통합을 위한 파이썬 API를 제공하여, step, reset, 관측값 검색 함수를 통한 에이전트 상호작용을 가능하게 한다.
• 기존의 전통적인 Quake III Arena 맵 파일(.pk3)과 인간이 읽을 수 있는 텍스트 기반 레벨 정의를 모두 지원하여 빠른 프로토타이핑과 커스터마이제이션을 가능하게 한다.

실험 결과

연구 질문

• RQ1 에이전트는 3차원, 부분적으로 관측 가능한, 시각적으로 풍부한 환경에서 탐색, 물체 수거, 전략 수립과 같은 복잡하고 장기적인 과제를 학습할 수 있는가?
• RQ2 복잡한 시각적 입력을 가진 3차원 1인칭 플랫폼에서 보조 학습 목표와 비동기 딥 강화학습 방법의 효과성은 어떠한가?
• RQ3 최소한의 감독 하에 프로시저럴하게 생성된 3차원 환경 간에 에이전트가 얼마나 잘 일반화할 수 있는가?
• RQ4 깊이 및 속도 관측치의 포함이 시각운동 제어 과제에서 학습 효율성과 정책 성능을 어떻게 향상시키는가?
• RQ5 풍부한 3차원 세계에서 자기지도 탐색과 내재적 동기 부여를 통해 일반 목적의 지능 개발을 지원할 수 있는가?

주요 결과

• nav_maze_static_01 레벨에서 84×84 해상도에서 GPU 기반으로 RGB 관측치에 대해 최대 996.6 FPS를 기록하여 높은 계산 효율성을 입증했다.
• 동일 조건에서 RGBD 관측치는 995.8 FPS로 프레임 레이트가 약간 감소했으며, 이는 깊이 감지가 플랫폼 내에서 계산적으로 실현 가능하다는 것을 보여준다.
• 320×240 해상도에서 GPU 기반으로 RGB 관측치는 950.0 FPS, RGBD 관측치는 784.7 FPS를 기록하여 다양한 해상도에서의 확장성을 입증했다.
• lt_space_bounce_hard 레벨은 84×84 해상도에서 CPU 기반으로 866.0 FPS, GPU 기반으로 850.3 FPS를 기록하여 다양한 작업 유형 간 일관된 성능을 확인했다.
• 이 플랫폼은 이미 비동기 방법(Mnih 등, 2016)과 비지도 보조 과제(Jaderberg 등, 2016)의 개발을 가능하게 하여 강화학습 분야에서 핵심적인 진전을 이끌었다.
• 플랫폼은 헤드리스 운영과 원격 실행을 지원하여 상호작용이 없는 환경과 분산 컴퓨팅 환경에서도 고성능 훈련을 가능하게 한다.