[논문 리뷰] On Value Functions and the Agent-Environment Boundary

Nan Jiang|arXiv (Cornell University)|2019. 05. 30.

Reinforcement Learning in Robotics참고 문헌 21인용 수 6

한 줄 요약

이 논문은 강화학습 이론에서 에이전트-환경 경계의 위치에 따라 값 함수와 이론적 가정이 달라지는 경계 의존성 문제를 다룹니다. 기존의 값 함수 대신 더 약한, 경계에 불변인 조건을 사용하여 Fitted Q-Iteration의 경계 불변 분석을 제안함으로써, 경계 선택에 관계없이 일관된 이론적 보장을 가능하게 합니다.

ABSTRACT

When function approximation is deployed in reinforcement learning (RL), the same problem may be formulated in different ways, often by treating a pre-processing step as a part of the environment or as part of the agent. As a consequence, fundamental concepts in RL, such as (optimal) value functions, are not uniquely defined as they depend on where we draw this agent-environment boundary, causing problems in theoretical analyses that provide optimality guarantees. We address this issue via a simple and novel boundary-invariant analysis of Fitted Q-Iteration, a representative RL algorithm, where the assumptions and the guarantees are invariant to the choice of boundary. We also discuss closely related issues on state resetting and Monte-Carlo Tree Search, deterministic vs stochastic systems, imitation learning, and the verifiability of theoretical assumptions from data.

연구 동기 및 목표

• 에이전트-환경 경계의 위치에 따라 값 함수와 이론적 가정이 달라지는 강화학습 이론의 경계 의존성 문제를 특정하고 해결하는 것.
• 실현 가능성과 낮은 벨만 오차와 같은 경계 의존적 가정으로 인해 고전적 이론 분석이 동일한 문제 설정 간에 일관성 없이 나타남을 보여주는 것.
• 에이전트-환경 경계의 위치에 관계없이 정확성과 보장을 유지하는 Fitted Q-Iteration를 위한 경계 불변 이론적 프레임워크를 개발하는 것.
• 데이터로부터 이론적 가정의 검증 가능성 문제를 다루며, 상태 리셋 없이 자연스럽게 생성된 데이터에서 고전적 가정이 본질적으로 검증 불가능함을 보여주는 것.
• 경계 민감한 구조가 아닌 불변 조건에 기반한 분석을 통해 상태, 값 함수, 최적성의 개념적 명확성을 제공하는 것.

제안 방법

• 기존의 값 함수와 벨만 방정식 대신 데이터에 대한 기대값에 기반한 더 약한, 경계에 불변인 조건을 사용하여 Fitted Q-Iteration의 경계 불변 공식화를 제안함.
• 실현 가능성과 낮은 본질적 벨만 오차와 같은 경계 의존적 가정을 데이터 분포에 대한 순수 기대값을 사용한 경계에 불변인 조건으로 대체함.
• 함수 클래스와 데이터 분포에 대한 전칭 기호를 사용한 공식적 프레임워크를 도입하여, 경계 이동에 대해 불변성을 보장함.
• 이러한 불변 가정은 기존의 조건부 기대값과 달리 상태 리셋 없이도 몬테카를로 추정을 통해 검증 가능함을 보여줌.
• 이 프레임워크를 이민 학습 분석에 적용하여, 전문가의 지시가 경계 불일치 상황에서는 조건부로도 유용하지 않음을 보여줌.
• 고전적 실현 가능성 가정이 악의적인 데이터 분포 하에서 유한한 데이터로부터 검증될 수 없음을 공식적으로 증명함으로써, 불변 대체 가정의 필요성을 강조함.

실험 결과

연구 질문

• RQ1 에이전트-환경 경계의 선택이 함수 근사 기반 강화학습에서 최적의 값 함수 정의와 이론적 보장에 어떻게 영향을 미치는가?
• RQ2 에이전트-환경 경계의 변화에 대해 불변이면서도 정확성과 의미 있는 보장을 유지할 수 있는 강화학습 알고리즘의 이론적 분석이 가능할 수 있는가?
• RQ3 고전적 실현 가능성과 벨만 오차 가정이 자연적으로 생성된 데이터에서 왜 본질적으로 검증 불가능한가? 그리고 그 대안은 무엇인가?
• RQ4 경계 의존성이 이민 학습에 미치는 영향은 무엇인가? 특히 전문가와 학습자가 다른 경계를 사용할 경우에 대해.
• RQ5 경계 불변 가정은 얼마나 실용적으로 검증 가능할 수 있으며, 그 과정에서 발생하는 계산적 과제는 무엇인가?

주요 결과

• 동일한 강화학습 문제에서 에이전트-환경 경계의 위치에 따라 다른 최적의 값 함수가 도출될 수 있으며, 이는 이론적 구조의 유일성을 뒤흔든다.
• 고전적 이론적 가정인 실현 가능성과 낮은 벨만 오차는 경계 의존적이며, 상태 리셋 없이 유한한 데이터로부터는 검증할 수 없다.
• 기존의 값 함수 대신 데이터에 대한 기대값에 기반한 더 약한, 경계에 불변인 조건을 사용함으로써 Fitted Q-Iteration의 경계 불변 분석이 가능하다.
• 경계 불변 가정에서 도출된 이론적 보장은 경계의 위치에 관계없이 모든 동치 문제 설정에서 일관되게 유지된다.
• 전문가 정책의 지시는 전문가와 학습자가 다른 에이전트-환경 경계를 사용할 경우, 조건부로도 완전히 무의미해질 수 있다.
• 경계 불변 가정의 검증은 전칭 기호로 인해 계산적으로 도전적이지만, 몬테카를로 추정과 도메인 지식 기반 샘플링을 통해 원칙적으로 가능하다.