[논문 리뷰] Representing Knowledge as Predictions (and State as Knowledge)

Mark Ring|arXiv (Cornell University)|2021. 12. 12.

Philosophy and History of Science인용 수 4

한 줄 요약

이 논문은 일반가치함수(GVFs), 또는 '예측'으로 불리는 것을 사용하여 인공 에이전트가 원시 센서모터 경험에서 직접 추상적이고 고수준의 지식을 학습하는 계층적 지식 표현 프레임워크를 제안한다. 행동에 기반해 미래 상태와 특징을 반복적으로 예측함으로써, 원시 픽셀과 촉각에서부터 벽, 방, 문과 같은 개념에 이르기까지 계층적인 추상화를 구축한다. 이는 인간이 주석을 달지 않은 상징을 사용하지 않고도 경험 기반의 직관적 추론을 가능하게 한다.

ABSTRACT

This paper shows how a single mechanism allows knowledge to be constructed layer by layer directly from an agent's raw sensorimotor stream. This mechanism, the General Value Function (GVF) or "forecast," captures high-level, abstract knowledge as a set of predictions about existing features and knowledge, based exclusively on the agent's low-level senses and actions. Thus, forecasts provide a representation for organizing raw sensorimotor data into useful abstractions over an unlimited number of layers--a long-sought goal of AI and cognitive science. The heart of this paper is a detailed thought experiment providing a concrete, step-by-step formal illustration of how an artificial agent can build true, useful, abstract knowledge from its raw sensorimotor experience alone. The knowledge is represented as a set of layered predictions (forecasts) about the agent's observed consequences of its actions. This illustration shows twelve separate layers: the lowest consisting of raw pixels, touch and force sensors, and a small number of actions; the higher layers increasing in abstraction, eventually resulting in rich knowledge about the agent's world, corresponding roughly to doorways, walls, rooms, and floor plans. I then argue that this general mechanism may allow the representation of a broad spectrum of everyday human knowledge.

연구 동기 및 목표

• 인공지능과 인지과학에서 오랫동안 남아있던 과제인 고수준 지식을 센서모터 경험의 실제 기초와 연결하는 것.
• 물체의 성질이나 공간적 배치와 같은 추상적이고 유용한 지식이 인간이 주석을 달지 않은 상징 없이도 저수준 상호작용에서 자연스럽게 유도될 수 있음을 보여주는 것.
• 미래 상태를 예측하는 모델링을 통해 단계적이고 계층적인 지식 표현 체계를 구축하는 공식적이고 단계적인 메커니즘을 제공하는 것.
• 이 프레임워크가 직관적인 물리적 및 공간적 추론을 포함해 일상적인 인간 지식의 광범위한 스펙트럼을 표현할 수 있음을 주장하는 것.
• 이러한 접근 방식을 인간의 발달과 유사하게 경험을 통해 점진적으로 지식을 개발하는 지속적 학습 시스템의 기초로 위치시키는 것.

제안 방법

• 현재 관측과 행동에 기반해 미래의 특징이나 상태에 대한 예측으로서 지식을 표현하기 위해 일반가치함수(GVFs), 또는 '예측'을 사용한다.
• 하나씩 쌓아가는 방식으로 지식을 계층적으로 구성한다: 하위 레이어는 원시 감각 입력(예: 픽셀, 촉각)을 처리하고, 상위 레이어는 벽, 방, 문과 같은 개념으로 추상화한다.
• 임의의 정책 하에서도 작동하는 재귀적 시간차수정 기법(식 11)을 사용하며, 중요도 샘플링을 통해 비정책 데이터에 대한 보정을 수행한다.
• 예측의 목표가 즉각적이고 미래의 예측의 가중 조합인 가치 함수로 예측을 정의한다: $ f(s) = \beta(s)z(s) + (1 - \beta(s))c(s) + \sum_{s'} P(s, s') f(s') $, 이는 안정적인 학습을 가능하게 한다.
• 간단한 행동에서 더 추상적인 표현으로 이르기까지 예측, 옵션, 별칭(예: '오른쪽 벽', '방 중심으로 이동')의 체계적인 세트를 도입한다.
• 정책에 종속되지 않는 학습 프레임워크를 사용하여 비정책 학습을 지원하며, 행동 정책가 목표 정책와 다를 경우에도 다양한 경험에서 학습할 수 있다.

실험 결과

연구 질문

• RQ1 인간이 주석을 달지 않은 상징 없이도 원시 센서모터 데이터에서 직접 고수준의 추상적 지식—예를 들어 물체의 성질이나 공간적 배치를 이해하는 것—을 구성할 수 있는가?
• RQ2 단일의 통합 메커니즘(GVFs)이 저수준 감각 입력에서 계층적이고 계층적인 지식 표현 체계를 어떻게 지원할 수 있는가?
• RQ3 미래 상태의 예측 모델이 물체의 무게, 크기, 안정성 등을 추정하는 것과 같은 직관적 추론의 기초로 얼마나 잘 작동할 수 있는가?
• RQ4 이 프레임워크는 지속적인 학습을 지원할 수 있는가? 즉, 지식이 환경과의 지속적 상호작용을 통해 축적되고 진화하는가?
• RQ5 다양한 경험 경로에서 효율적이고 안정적인 학습을 가능하게 하기 위해 비정책 학습을 이 프레임워크에 어떻게 통합할 수 있는가?

주요 결과

• 이 프레임워크는 원시 감각 입력에서부터 방과 문과 같은 고수준 공간 개념에 이르기까지 12단계의 추상화를 성공적으로 구성하여 인간과 유사한 직관적 지식에 이르는 설득력 있는 길을 보여주었다.
• GVFs의 사용은 에이전트가 미래 상태에 대한 예측으로서 지식을 표현할 수 있게 하여, 상상 속 상호작용을 통해 물체의 성질(예: 무게, 연성)에 대해 추론할 수 있도록 한다.
• 재귀적 업데이트 규칙(식 11)은 임의의 정책 하에서도 시간차수정 학습을 지원하며, 행동 정책와 목표 정책가 다를 경우에도 안정적이고 효율적인 학습이 가능하다.
• 중요도 샘플링 보정을 통해 비정책 학습을 지원하여, 다양한 정책 하에서 경험을 수집하는 실세계 구현에 실용적이다.
• 간단한 예측과 옵션의 조합을 통해 복잡한 고수준 개념(예: '방 중심', '복도 중앙')이 자연스럽게 유도됨을 보여준다.
• 이 프레임워크는 사실 외에도 경험 기반의 직관적 지식—예를 들어 풍선이 어떻게 행동할지에 대한 기대감—을 명시적 기호 인코딩 없이 표현할 수 있는 메커니즘을 제공한다.