[논문 리뷰] Hierarchical principles of embodied reinforcement learning: A review

Manfred Eppe, Christian Gumbsch외 4명|arXiv (Cornell University)|2020. 12. 18.

Child and Animal Learning Development참고 문헌 128인용 수 5

한 줄 요약

이 논문은 조류, 영장류, 문어와 같은 지능적인 동물의 문제 해결 능력에서 유래한 인지 메커니즘—예를 들어 조합적 추상화, 전방 모델, 호기심, 정신적 시뮬레이션—을 계산적 히에라르키컬 강화학습(HRL) 방법과 연결하여 히에라르키컬 강화학습(HRL)을 검토한다. 연구에서는 핵심 구성 요소들이 개별적으로 존재하지만 통합은 이루어지지 않았다는 점을 밝히며, 인공 에이전트가 제로샷, 동물 수준의 문제 해결 성능을 달성하기 위해서는 이러한 메커니즘을 통합하는 것이 필수적이라고 제안한다.

ABSTRACT

Cognitive Psychology and related disciplines have identified several critical mechanisms that enable intelligent biological agents to learn to solve complex problems. There exists pressing evidence that the cognitive mechanisms that enable problem-solving skills in these species build on hierarchical mental representations. Among the most promising computational approaches to provide comparable learning-based problem-solving abilities for artificial agents and robots is hierarchical reinforcement learning. However, so far the existing computational approaches have not been able to equip artificial agents with problem-solving abilities that are comparable to intelligent animals, including human and non-human primates, crows, or octopuses. Here, we first survey the literature in Cognitive Psychology, and related disciplines, and find that many important mental mechanisms involve compositional abstraction, curiosity, and forward models. We then relate these insights with contemporary hierarchical reinforcement learning methods, and identify the key machine intelligence approaches that realise these mechanisms. As our main result, we show that all important cognitive mechanisms have been implemented independently in isolated computational architectures, and there is simply a lack of approaches that integrate them appropriately. We expect our results to guide the development of more sophisticated cognitively inspired hierarchical methods, so that future artificial agents achieve a problem-solving performance on the level of intelligent animals.

연구 동기 및 목표

• 크로우, 영장류, 문어와 같은 지능적인 동물이 제로샷 문제 해결을 가능하게 하는 인지 메커니즘을 규명하는 것.
• 현재 히에라르키컬 강화학습(HRL) 방법이 이러한 인지 메커니즘을 구현하고 있는지 분석하는 것.
• 기존 HRL 접근법의 주요 단점, 특히 통합된 전방 모델, 조합적 추상화, 내재적 동기의 부재를 규명하는 것.
• 동물 수준의 지능적 에이전트를 구축하는 데 필요한 도구들은 이미 존재하지만, 통합적인 통합이 필요하다고 제안하는 것.
• 향후 연구가 더 인지적으로 유사한, 히에라르키컬 강화학습 시스템을 개발하도록 이끄는 것.

제안 방법

• 히에라르키컬 문제 해결을 위한 핵심 메커니즘을 추출하기 위해 인지심리학 및 동물인지 분야의 문헌을 종합적으로 조사한다.
• 이러한 인지 메커니즘—조합적 추상화, 전방 모델, 내재적 동기(호기심/다양성), 정신적 시뮬레이션—을 계산적 HRL 프레임워크에 매핑한다.
• 최근 37篇의 강화학습 리뷰 논문(2015–2020)과 117개의 HRL 아키텍처를 체계적으로 검토하여 이러한 메커니즘의 구현 여부를 평가한다.
• 기존 HRL 시스템에서 핵심 메커니즘(예: 전방 모델, 조합적 표현)의 고립된 구현 사례를 식별하고 분석한다.
• 표 형태 분석(표 1)을 통해 전방 모델, 상태 추상화, 행동 추상화, 내재적 동기, 정신적 시뮬레이션 등의 차원에서 HRL 방법을 비교한다.
• большин의 HRL 방법이 모델리스이며, 조합적 추상화를 지원하지 않으며, 여러 인지 메커니즘을 통합하지 않는다는 점을 강조한다.

실험 결과

연구 질문

• RQ1 크로우, 영장류 등 지능적인 동물이 제로샷 문제 해결을 가능하게 하는 데 기여하는 인지 메커니즘은 무엇인가?
• RQ2 현재 히에라르키컬 강화학습(HRL) 방법이 이러한 인지 메커니즘을 어느 정도 구현하고 있는가?
• RQ3 이론적으로는 유망한데도 불구하고 기존 HRL 접근법이 동물 수준의 문제 해결 성능을 달성하지 못하는 이유는 무엇인가?
• RQ4 전방 모델, 조합적 추상화, 또는 내재적 동기와 같은 핵심 구성 요소 중 현재 HRL 시스템에서 부족하거나 부족하게 표현된 것은 무엇인가?
• RQ5 고립된 기존 메커니즘의 통합은 인간 및 동물 수준의 소수의 샘플 문제 해결 능력을 갖춘 인공 에이전트를 만들 수 있는가?

주요 결과

• 2015–2020년 사이에 출간된 최근 37편의 강화학습 리뷰 논문 중 단 2편만이 초록에 'hierarchic'라는 용어를 포함하여, 일반 문헌에서 히에라르키컬 방법에 대한 관심이 매우 낮음을 시사한다.
• Sutton과 Barto의 RL 교재 제2판은 히에라르키컬 구조를 오직 2페이지에 걸쳐 언급하며 주로 오래된 옵션 프레임워크 내에서 다루어, 메인스트림 강화학습 이론 내에서의 통합이 제한적임을 보여준다.
• 다수의 HRL 방법은 예측 전방 모델을 포함하지 않으며, 계획 및 추상화에서 그 중요성이 강력히 입증된 인지적 증거에도 불구하고 모델리스이다.
• 조합적 추상화는 거의 지원되지 않으며, 자연어나 기호 논리학을 사용하는 방법은 소수에 불과하고, 이들 표현은 감각운동 경험에 단단히 뿌리내리지 못한다.
• 상태 추상화는 크게 연구되지 않았으며, 대부분의 히에라르키컬 액터-크리틱 방법은 모든 계층에서 동일한 상태 표현을 사용하여 추상화를 하지 않는다.
• 내재적 동기 메커니즘—특히 호기심과 다양성—은 HRL에서 부족하게 표현되어 있으며, 생물학적 에이전트에서 지식적 탐색을 이끄는 데 기여한다는 사실에도 불구하고 그렇다.