[논문 리뷰] How a minimal learning agent can infer the existence of unobserved variables in a complex environment

Katja Ried, Benjamin Eva외 2명|arXiv (Cornell University)|2019. 10. 15.

Cognitive Science and Mapping인용 수 4

한 줄 요약

이 논문은 복잡한 환경에서 비관측 변수를 동적 상호작용을 통해 추상적 개념적 표현을 형성함으로써 자율적으로 추론하는 최소한의 강화학습 에이전트를 제안한다. 에이전트의 내부 사고 구조는 이러한 변수들을 운영적으로 식별할 수 있게 하여, 새로운 경험으로의 일반화 능력을 크게 향상시키며, 인공지능에서 추상적 개념 형성에 있어 투명하고 해석 가능하며 효과적인 메커니즘을 입증한다.

ABSTRACT

According to a mainstream position in contemporary cognitive science and philosophy, the use of abstract compositional concepts is both a necessary and a sufficient condition for the presence of genuine thought. In this article, we show how the ability to develop and utilise abstract conceptual structures can be achieved by a particular kind of learning agents. More specifically, we provide and motivate a concrete operational definition of what it means for these agents to be in possession of abstract concepts, before presenting an explicit example of a minimal architecture that supports this capability. We then proceed to demonstrate how the existence of abstract conceptual structures can be operationally useful in the process of employing previously acquired knowledge in the face of new experiences, thereby vindicating the natural conjecture that the cognitive functions of abstraction and generalisation are closely related. Keywords: concept formation, projective simulation, reinforcement learning, transparent artificial intelligence, theory formation, explainable artificial intelligence (XAI)

연구 동기 및 목표

• 복잡한 환경에서 상호작용을 통해 최소한의 학습 에이전트가 비관측 변수의 존재를 자율적으로 추론할 수 있음을 보여주기.
• 에이전트의 내부 사고 과정 내에서 추상적 개념적 구조를 운영적으로 정의하고 식별할 수 있는 방법을 제공하기.
• 이러한 추상적 변수의 형성이 에이전트가 기존 지식을 새로운 경험에 일반화하는 능력을 향상시킨다는 것을 보여주기.
• 외부 관찰자가 식별 가능한 개념적 표현을 통해 에이전트의 추론 과정을 분석하고 이해할 수 있도록 하여 투명하고 해석 가능한 인공지능을 발전시키기.
• 자율적 개념 형성과 상관관계 탐지의 기반을 마련하여 설명 가능한 인공지능(XAI)과 부분 기호적 시스템 내의 기호적 추론으로 나아가기

제안 방법

• 에이전트는 설정(s ∈ S), 실험(e ∈ E), 실험 결과에 대한 예측(p ∈ P)으로 정의된 구조화된 환경 내에서 작동한다.
• 가중치가 부여된 메모리 링크를 통해 진화하는 레이블 공간과 내부 사고 과정을 갖춘 수정된 프로젝티브 시뮬레이션(PS) 아키텍처를 사용한다.
• 에이전트의 기억에 잠재적인 추상적 변수를 나타내는 중간 단계의 '클립'을 도입하는 새로운 프로토콜을 제안하여, 다양한 설정과 실험 간의 일관된 패턴을 탐지할 수 있도록 한다.
• 에이전트는 다양한 설정에서 행동 선택 확률의 안정적이고 반복적인 패턴을 탐지함으로써 변수를 식별하며, 확률 분포 유사도를 기반으로 한 통계 기준을 사용한다.
• 변수 식별은 유사한 행동 확률 분포를 갖는 레이블을 군집화함으로써 운영화되며, 외부 관찰자가 에이전트의 개념적 표현을 재구성할 수 있도록 한다.
• 학습 동역학은 레이블의 동적 병합 및 분할을 허용하여 환경의 복잡성에 따라 적응적인 추상화 해상도를 가능하게 한다.

실험 결과

연구 질문

• RQ1 최소한의 강화학습 에이전트가 상호작용만으로 복잡한 환경에서 비관측 변수의 존재를 추론할 수 있는가?
• RQ2 에이전트가 형성한 추상적 개념적 구조는 외부 관찰자가 어떻게 운영적으로 정의하고 식별할 수 있는가?
• RQ3 식별 가능한 추상적 변수의 존재가 에이전트의 새로운, 경험하지 않은 설정으로의 일반화 능력에 얼마나 기여하는가?
• RQ4 에이전트의 내부 개념적 표현은 어떻게 투명하고 해석 가능하게 만들 수 있으며, 이는 부분 기호적 학습 시스템에서 설명 가능한 인공지능(XAI)을 실현하는 데 기여하는가?
• RQ5 에이전트의 아키텍처는 환경 피드백에 기반해 어떻게 동적으로 조정되어 변화하는 추상화 수준을 지원할 수 있는가?

주요 결과

• 에이전트는 다양한 설정에서 행동 선택 확률 분포의 일관된 패턴을 탐지함으로써, 은폐된 비관측 특성을 지닌 환경에서 추상적 변수를 성공적으로 식별한다.
• 유사한 행동 선택 행동을 보이는 레이블을 군집화하는 방식으로 정의된 추상적 변수의 운영적 정의는 외부 관찰자가 에이전트의 개념적 표현을 높은 정밀도로 재구성할 수 있도록 한다.
• 식별 가능한 추상적 변수를 형성하고 활용하는 에이전트는 이전에 경험하지 않은 새로운 설정에 직면했을 때 일반화 성능이 크게 향상됨을 보여준다.
• 식별 가능한 추상적 변수의 존재와 일반화 능력 향상 간의 상관관계는 시뮬레이션을 통해 경험적으로 검증되었으며, 학습에서 추상화의 실용적 및 인지적 가치를 확인한다.
• 제안된 방법은 기존의 블랙박스 강화학습 에이전트와는 구별되는 투명하고 해석 가능하며 의사소통이 가능한 형태의 인공지능을 실현한다.
• 이 프레임워크는 향후 변수 간 상관관계 탐지 및 내부 아키텍처의 동적 적응을 통해 추상화 해상도를 최적화하는 데의 확장 가능성을 제공한다.