[논문 리뷰] Artificial Agents Learn Flexible Visual Representations by Playing a Hiding Game.

Luca Weihs, Aniruddha Kembhavi외 6명|arXiv (Cornell University)|2019. 12. 17.

Reinforcement Learning in Robotics참고 문헌 59인용 수 7

한 줄 요약

이 논문은 고해상도이고 상호작용 가능한 환경에서 숨기기 게임(캐시)을 플레이하는 인공 에이전트가, 은폐, 물체 영속성, 자유 공간, 포함성 등의 요소를 포함한 융통성 있는 시각적 표현을 학습하며, 대규모 레이블이 부여된 데이터셋을 사용하지 않고도 최신의 지도 학습 기반 표현 학습 방법과 유사한 성능을 달성함을 보여준다.

ABSTRACT

The ubiquity of embodied gameplay, observed in a wide variety of animal species including turtles and ravens, has led researchers to question what advantages play provides to the animals engaged in it. Mounting evidence suggests that play is critical in developing the neural flexibility for creative problem solving, socialization, and can improve the plasticity of the medial prefrontal cortex. Comparatively little is known regarding the impact of gameplay upon embodied artificial agents. While recent work has produced artificial agents proficient in abstract games, the environments these agents act within are far removed the real world and thus these agents provide little insight into the advantages of embodied play. Hiding games have arisen in multiple cultures and species, and provide a rich ground for studying the impact of embodied gameplay on representation learning in the context of perspective taking, secret keeping, and false belief understanding. Here we are the first to show that embodied adversarial reinforcement learning agents playing cache, a variant of hide-and-seek, in a high fidelity, interactive, environment, learn representations of their observations encoding information such as occlusion, object permanence, free space, and containment; on par with representations learnt by the most popular modern paradigm for visual representation learning which requires large datasets independently labeled for each new task. Our representations are enhanced by intent and memory, through interaction and play, moving closer to biologically motivated learning strategies. These results serve as a model for studying how facets of vision and perspective taking develop through play, provide an experimental framework for assessing what is learned by artificial agents, and suggest that representation learning should move from static datasets and towards experiential, interactive, learning.

연구 동기 및 목표

• 신체적 상호작용을 통한 게임 플레이가 인공 에이전트의 융통성 있는 시각적 표현 개발을 이끌 수 있는지 조사하기 위해.
• 현실적이고 상호작용 가능한 환경에서의 놀이가 시점 이해, 오해된 믿음, 물체 영속성과 같은 인지적 개념의 출현을 어떻게 지원하는지 탐색하기 위해.
• 伝통적인 대규모 지도 학습 기반 표현 학습 파라다임과 비교하여 놀이를 통한 표현 학습의 품질을 평가하기 위해.
• 경험 기반의 상호작용 학습을 통해 인공 에이전트가 무엇을 학습하는지 평가하기 위한 실험 프레임워크를 개발하기 위해.

제안 방법

• 한 에이전트가 물체를 숨기고 다른 에이전트가 이를 찾는 고해상도이고 상호작용 가능한 3차원 환경에서, 적대적 강화 학습을 사용해 에이전트를 훈련시킨다.
• 환경는 물체의 은폐, 포함, 동적 장면 변화를 포함한 풍부한 물리적 상호작용을 지원하여 현실적인 놀이 역동성을 가능하게 한다.
• 에이전트의 내부 신경 활성화에서 시각적 표현을 추출하고, 자유 공간, 물체 영속성과 같은 공간적 및 지각 개념을 얼마나 잘 인코딩하는지 평가한다.
• 표현 품질은 표준 후행 작업을 사용해 최신의 자기지도 학습 및 지도 학습 기반 시각적 표현 학습 방법과 비교 기준으로 삼는다.
• 메모리 및 의도 모델링을 통합하여 에이전트가 숨겨진 물체 상태를 추적하고 전략적으로 계획할 수 있도록 학습 과정을 강화한다.
• 이 프레임워크를 통해 상호작용과 놀이가 시간이 지남에 따라 시각적 표현의 구조에 어떻게 영향을 미치는지 분석할 수 있다.

실험 결과

연구 질문

• RQ1 실제 환경에서 신체적 상호작용 놀이를 통해 인공 에이전트가 융통성 있는 시각적 표현을 개발할 수 있는가?
• RQ2 놀이를 통해 학습된 표현이 은폐, 물체 영속성, 포함성과 같은 핵심 지각 및 인지 개념을 얼마나 잘 인코딩하는가?
• RQ3 놀이를 통한 표현 학습의 품질은 대규모 지도 학습 기반 표현 학습 방법과 비교해 어떻게 되는가?
• RQ4 메모리 및 의도 모델링은 학습된 표현의 품질과 융통성에 어떤 역할을 하는가?

주요 결과

• 캐시 게임을 플레이하는 인공 에이전트는 은폐, 물체 영속성, 자유 공간, 포함성을 고정밀도로 인코딩하는 시각적 표현을 학습했다.
• 에이전트가 외부 감독이나 대규모 레이블이 부여된 데이터셋 없이도, 최신의 지도 학습 기반 표현 학습 방법과 유사한 품질의 표현을 학습함을 확인했다.
• 놀이를 통한 표현 학습은 표준 자기지도 사전학습 기반 베이스라인과 비교해 후행 작업에서 성능이 뛰어나거나 동등했다.
• 메모리 및 의도 모델링의 통합은 에이전트가 숨겨진 상태를 이해하고 게임 플레이 중 효과적으로 계획할 수 있는 능력을 크게 향상시켰다.
• 결과적으로 상호작용 기반의 경험적 학습이 데이터 집약적인 정적 학습 파라다임과 유사한 풍부하고 생물학적으로 타당한 표현을 생성할 수 있음을 시사한다.
• 이 프레임워크는 인공 에이전트가 놀이를 통해 시각 능력과 시점 이해 능력이 어떻게 발달하는지 연구하기 위한 실현 가능한 실험 모델을 제공한다.