[논문 리뷰] Interpretable Reinforcement Learning Inspired by Piaget's Theory of Cognitive Development

Aref Hakimzadeh, Yanbo Xue외 1명|arXiv (Cornell University)|2021. 02. 01.

Reinforcement Learning in Robotics참고 문헌 33인용 수 5

한 줄 요약

이 논문은 피아제의 인지 발달 이론을 영감으로 삼아, 자기 추상화 가능한 스키마 트리를 사용하여 해석 가능하고 인간이 이해할 수 있는 의사결정을 가능하게 하는 신경기호 강화학습 프레임워크를 제안한다. 이는 심층 신경망을 사용하지 않으며, 고전적인 제어 환경에서 경쟁 가능한 성능을 달성한다 (예: 펜듈럼: 평균 보상 -112). 언어의 사고를 모방한 아키텍처를 통해 생산성, 체계성, 추론 일관성을 지원한다.

ABSTRACT

Endeavors for designing robots with human-level cognitive abilities have led to different categories of learning machines. According to Skinner's theory, reinforcement learning (RL) plays a key role in human intuition and cognition. Majority of the state-of-the-art methods including deep RL algorithms are strongly influenced by the connectionist viewpoint. Such algorithms can significantly benefit from theories of mind and learning in other disciplines. This paper entertains the idea that theories such as language of thought hypothesis (LOTH), script theory, and Piaget's cognitive development theory provide complementary approaches, which will enrich the RL field. Following this line of thinking, a general computational building block is proposed for Piaget's schema theory that supports the notions of productivity, systematicity, and inferential coherence as described by Fodor in contrast with the connectionism theory. Abstraction in the proposed method is completely upon the system itself and is not externally constrained by any predefined architecture. The whole process matches the Neisser's perceptual cycle model. Performed experiments on three typical control problems followed by behavioral analysis confirm the interpretability of the proposed method and its competitiveness compared to the state-of-the-art algorithms. Hence, the proposed framework can be viewed as a step towards achieving human-like cognition in artificial intelligent systems.

연구 동기 및 목표

• 심층 강화학습과 인지과학 사이의 격차를 해소하기 위해 피아제의 인지 발달 이론을 강화학습 아키텍처에 통합한다.
• 심층 강화학습의 투명성 부족 문제를 해결하기 위해 생산성, 체계성, 추론 일관성과 같은 인간 인지의 핵심 특성을 지원하는 시스템을 도입한다.
• 해석 가능성을 위해 사전 정의된 신경망 아키텍처에 의존하지 않는 자기 추상화 가능한 계층적 스키마 기반 아키텍처를 개발한다.
• 해석 가능하고 비신경 기반의 강화학습 에이전트가 표준 제어 벤치마크에서 경쟁 가능한 성능를 달성할 수 있음을 입증한다.

제안 방법

• 프레임워크는 피아제의 스키마 이론을 사용하여 인지 발달을 모델링하며, 스키마는 자율적으로 추상화되는 트리 구조의 노드로 표현되며, 동화와 조정 과정을 통해 진화한다.
• 각 스키마는 핵심 의미에 의해 규정되는 통합적이고 반복 가능한 행동 시퀀스이며, 추상화 깊이는 아키텍처에 사전 정의된 것이 아니라 시스템에 의해 동적으로 결정된다.
• 가중치가 부여된 감각 입력(W) 기반의 유사도 측정을 통해 상태 매칭을 수행한다; 가중치는 보상 유도 규칙에 따라 업데이트된다: $ W^{new} = W^{old} \pm \beta(U - V) $, 여기서 $ \beta = 0.04 $.
• 90%의 이용과 10%의 탐색을 포함하는 $ \epsilon $-greedy 정책이 학습의 안정성을 유지하면서도 탐색을 보장한다.
• 시스템은 뉴이저의 감각 순환 모델을 구현하여, 하향식 인지와 상향식 인지가 연속된 루프에서 통합된 상태로 작동한다.
• 아키텍처는 계층적 추상화를 지원하며, 다양한 옵션(스키마)이 서로 다른 깊이와 가중치를 가질 수 있어 민첩하고 해석 가능한 추론이 가능하다.

실험 결과

연구 질문

• RQ1 피아제의 스키마 이론에 기반한 강화학습 에이전트가 심층 신경망을 사용하지 않고도 표준 제어 작업에서 경쟁 가능한 성능를 달성할 수 있는가?
• RQ2 생산성, 체계성, 추론 일관성과 같은 핵심 인지 특성들이 강화학습 프레임워크에 어떻게 형식적으로 표현될 수 있는가?
• RQ3 자기 추상화 가능한 스키마 시스템이 학습 효율성과 일반화 능력을 유지하면서도 해석 가능성을 얼마나 잘 지원할 수 있는가?
• RQ4 뉴이저의 감각 순환 모델을 통한 상향식과 하향식 학습의 통합이 에이전트의 자율성 향상과 하이퍼파rameter 튜닝에 필요한 인간 간섭 감소에 기여하는가?

주요 결과

• 펜듈럼 환경에서 계층적 스키마 기반 에이전트는 100회 실험 동안 최고 보상 -112와 평균 보상 -251을 달성하여 베이스라인 방법을 초월했다.
• 시스템은 가중치 초기화에 대해 강건함을 보였다: 서로 다른 감각 입력 가중치 벡터(예: $ W_1 = [2.2\ 2.4\ 0.7] $, $ W_2 = [1.2\ 1.7\ 1.8] $)가 동일한 평균 성능 -168을 낳아 안정적이고 해석 가능한 행동을 보였다.
• 보상 피드백을 통한 적응형 가중치 학습($ W^{new} = W^{old} \pm \beta(U - V) $)을 적용하여 성능이 평균 -241, 최고 -164로 향상되어, 해석 가능한 강화학습에서 주의 메커니즘 유사 기법의 가치를 입증했다.
• 프레임워크는 CartPole 및 Acrobot에서도 경쟁 가능한 결과를 달성하여, 심층 학습에 의존하지 않고도 다양한 환경에 일반화됨을 확인했다.
• 행동 분석을 통해 시스템이 핵심 인지 특성을 지원하는 것으로 확인되었다: 생산성(무한한 스키마 생성), 체계성(구조화된 추론), 추론 일관성(스키마에서 논리적 추론 수행).
• AO2 변종의 모든 의사결정 경로가 환경 상태와 관련해 인간이 이해할 수 있었으며, 해석 가능성의 核심 주장을 확인했다.