[논문 리뷰] Exploring Exploration: Comparing Children with RL Agents in Unified Environments

Eliza Kosoy, Jasmine Collins외 7명|arXiv (Cornell University)|2020. 05. 06.

Reinforcement Learning in Robotics참고 문헌 37인용 수 7

한 줄 요약

이 논문은 DeepMind Lab를 통합된 플랫폼으로 사용하여, 제어된 탐색 기반 환경에서 어린이와 강화학습(RL) 에이전트의 탐색 행동을 직접 비교하는 것을 제안한다. 어린이들은 더 효율적이고 목표 지향적인 DFS 유사 탐색 방식을 보이며, 반면 RL 에이전트는 후행적이고 보상 중심의 전략에 의존함을 입증함으로써, 현재 RL 탐색 방법에 존재하는 핵심적 격차를 드러낸다.

ABSTRACT

Research in developmental psychology consistently shows that children explore the world thoroughly and efficiently and that this exploration allows them to learn. In turn, this early learning supports more robust generalization and intelligent behavior later in life. While much work has gone into developing methods for exploration in machine learning, artificial agents have not yet reached the high standard set by their human counterparts. In this work we propose using DeepMind Lab (Beattie et al., 2016) as a platform to directly compare child and agent behaviors and to develop new exploration techniques. We outline two ongoing experiments to demonstrate the effectiveness of a direct comparison, and outline a number of open research questions that we believe can be tested using this methodology.

연구 동기 및 목표

• 어린이의 인간 유사 탐색 행동과 현재 RL 에이전트 간 격차를 해소하기 위해 통합된 환경에서 직접 행동 비교를 가능하게 하기 위해.
• 어린이의 내재적이고 효율적인 탐색이 강화학습에서 더 나은 탐색 알고리즘 설계에 기여할 수 있는지 조사하기 위해.
• 보상 구조(희박한 vs. 풍부한)가 어린이와 RL 에이전트 모두의 탐색 및 일반화에 어떤 영향을 미치는지 테스트하기 위해.
• 목표 지향적 탐색과 무작위 탐색 간의 탐색 전략에서의 정성적 및 정량적 차이를 식별하기 위해, 특히 어린이와 에이전트 간의 비교를 중심으로.
• 발달 심리학의 통찰을 활용하여 더 샘플 효율적이고 일반화 능력이 뛰어난 RL 에이전트를 설계하는 데 유용한 방법론을 개발하기 위해.

제안 방법

• 어린이와 RL 에이전트 모두가 탐색 작업을 수행할 수 있도록 표준화된 시뮬레이션 환경으로 DeepMind Lab를 사용하기 위해.
• 두 가지 제어된 실험 설계: 목표 지향적 탐색을 위한 미로 탐색 실험, 보상 구조의 영향(희박, 풍부, 목표 없음)을 분석하는 실험.
• 어린이와 에이전트의 행동 궤적을 기록하고 분석하여, 깊이 우선 탐색(DFS) 대 비례한 무작위 보행 행동과 같은 탐색 패턴을 비교하기 위해.
• 목표 도달 시간, 방문한 고유 상태 수, 경로 효율성 등의 정량적 지표를 사용하여 조건 간 성능 비교를 수행하기 위해.
• 정신 모델 추론을 적용하여, 어린이가 환경에 대한 내부 표현을 사용해 효율적인 탐색을 유도하는지 평가하기 위해, 이는 대부분의 RL 에이전트와는 다름.
• 기존의 RL 탐색 알고리즘(예: 궁금증, 내재적 보상)을 에이전트에 적용하고, 동일한 조건에서 어린이의 행동과 비교하기 위해.

실험 결과

연구 질문

• RQ1 어린이가 무작위 또는 후행적 탐색에 의존하는 RL 에이전트보다 더 효율적이고 목표 지향적인 탐색(예: DFS 유사)을 보이는가?
• RQ2 풍부한 보상이 존재할 경우, 어린이의 탐색 행동과 최적 경로가 차단되었을 때의 일반화 능력에 어떤 영향을 미치는가?
• RQ3 어린이와 RL 에이전트는 미로 환경에서 산만함이나 관련 없는 자극에 얼마나 민감한가?
• RQ4 어린이들은 탐색 과정에서 획득한 정보를 통합하고 기억하여 향후 작업 수행에 기여할 수 있는가? 이는 RL 에이전트와 비교해 어떻게 다를까?
• RQ5 어린이와 에이전트는 탐색 중에 부정적 피드백이나 안전하지 않은 조건에 어떻게 반응하며, 안전한 탐색을 위해 어떤 전략을 사용하는가?

주요 결과

• 실험 1에서 어린이들은 DFS 유사 탐색 행동을 보였으며, 목표 향해 체계적으로 깊이 우선적으로 탐색함으로써 내부 공간 모델을 사용하고 있음을 시사한다.
• 반면, 대부분의 RL 에이전트는 이러한 DFS 유사 행동을 재현하지 못했고, 보상의 새로운 정도나 궁금증에 의해 유도되는 후행적 탐색에 의존했다.
• 풍부한 보상 조건에서 어린이들은 희박한 조건이나 목표 없음 조건보다 탐색 빈도가 낮았지만, 경로가 차단된 최종 단계에서도 잘 수행했다.
• 놀랍게도, 풍부한 보상 조건에서 어린이의 탐색 감소는 경로 차단 시 목표를 찾는 능력에 손상되지 않았으며, 과적합에 대한 저항력을 보임을 시사한다.
• 초기 결과에 따르면, 어린이는 많은 RL 에이전트와 달리 국소 최적점에 갇히거나 풍부한 보상에 과적합되는 경향이 적다.
• 결과적으로 어린이의 탐색은 더 선제적이고 목표 지향적인 반면, RL 에이전트는 환경 피드백에 주로 반응하는 것으로 나타났다.