[논문 리뷰] Unifying task specification in reinforcement learning

Martha White|arXiv (Cornell University)|2016. 09. 07.

Reinforcement Learning in Robotics참고 문헌 22인용 수 17

한 줄 요약

이 논문은 전이 기반 할인을 사용하여 환경 동역학과 학습 목표를 분리함으로써 에피소딕 및 계속되는 작업을 원활하게 통합할 수 있는 통합 강화학습(RL) 작업 형식을 제안한다. 주요 기여는 에피소딕 및 계속되는 RL에 대한 이전 결과를 포함하는 증명 가능한 수축 경계를 갖춘 일반화된 벨먼 연산자이다. 이는 이론 및 알고리즘 개발을 단순화한다.

ABSTRACT

Reinforcement learning tasks are typically specified as Markov decision processes. This formalism has been highly successful, though specifications often couple the dynamics of the environment and the learning objective. This lack of modularity can complicate generalization of the task specification, as well as obfuscate connections between different task settings, such as episodic and continuing. In this work, we introduce the RL task formalism, that provides a unification through simple constructs including a generalization to transition-based discounting. Through a series of examples, we demonstrate the generality and utility of this formalism. Finally, we extend standard learning constructs, including Bellman operators, and extend some seminal theoretical results, including approximation errors bounds. Overall, we provide a well-understood and sound formalism on which to build theoretical results and simplify algorithm use and development.

연구 동기 및 목표

• 기존의 RL 작업 사양에서 환경 동역학과 학습 목표가 결합되어 있어 모듈성이 부족한 문제를 해결하기 위해.
• 에피소딕, 계속되는 작업, 옵션, 일반화된 가치 함수와 같은 다양한 RL 설정을 단일 형식론 아래 통합하기 위해.
• 에피소딕 및 계속되는 작업에 대해 별도로 다루는 것을 줄임으로써 이론적 분석 및 알고리즘 개발을 단순화하기 위해.
• 벨먼 연산자 수축 경계와 같은 기초 결과를 전이 기반 할인을 통한 일반화된 프레임워크로 확장하기 위해.
• 연구 및 실용적 RL 개발을 위한 원칙적이고 직관적이며 재사용 가능한 형식론을 제공하기 위해.

제안 방법

• 정책 집합 P, 보상 함수 r, 전이 기반 할인 함수 γ, 관심 함수 i로 구성된 RL 작업 형식을 (P, r, γ, i)로 제안한다.
• 전이 기반 할인 γ(s,a,s′) ∈ [0,1]을 도입하여, 일정한 γ의 일반화를 통해 상태-행동-전이 기반의 동적 할인을 가능하게 한다.
• 기본 MDP나 종료 상태를 수정하지 않고도 전이 기반 할인 함수만 변경함으로써 에피소딕 및 계속되는 작업을 통합함을 보여준다.
• 새로운 형식론을 위한 일반화된 벨먼 연산자를 유도하고, 약한 조건 하에서의 수축성을 증명함으로써 수렴 보장을 확장한다.
• 기존의 에피소딕 및 계속되는 작업에 대한 결과들이 새로운 프레임워크의 이론적 경계에 의해 포함됨을 입증한다.
• LSTD(λ) 및 강조 알고리즘과 같은 알고리즘에 대한 이론적 확장을 제공하며, 새로운 매개변수 s_D를 통해 수렴 속도를 일반화한다.

실험 결과

연구 질문

• RQ1 기본 MDP의 구조를 변경하지 않고도 에피소딕 및 계속되는 RL 작업을 단일 프레임워크 아래에서 공식적으로 통합할 수 있는가?
• RQ2 상태 기반 할인과 전이 기반 할인 간의 관계는 무엇이며, 이를 어떻게 공식화할 수 있는가?
• RQ3 전이 기반 할인 하에서 일반화된 벨먼 연산자가 수축함을 보일 수 있으며, 이는 기존의 수축 결과를 포함하는가?
• RQ4 가치 함수 방법의 근사 오차 경계 및 수렴 속도는 새로운 형식론 하에서 어떻게 일반화되는가?
• RQ5 전이 기반 할인을 사용할 경우 알고리즘 설계 및 이론적 분석에 실용적인 영향은 무엇인가?

주요 결과

• 제안된 RL 작업 형식은 전이 기반 할인을 통해 에피소딕 및 계속되는 작업을 성공적으로 통합하며, 상태 공간 수정이 필요 없음을 입증한다.
• 전이 기반 할인을 위한 일반화된 벨먼 연산자는 약한 조건 하에서도 증명 가능한 수축성을 보이며, RL의 이론적 기반을 확장한다.
• 기존의 에피소딕 및 계속되는 작업에 대한 수렴 결과들이 새로운 일반화된 수축 경계에 의해 포함됨을 입증하여 더 넓은 적용 가능성을 보여준다.
• LSTD(λ) 및 강조 알고리즘의 수렴 속도는 새로운 매개변수 s_D를 통해 일반화되며, 이는 전이 간의 효과적 할인 행동을 캡처한다.
• 택시 도메인에서의 실험 분석 결과, λ_c와 종료 확률이 높아질수록 s_D가 크게 감소함을 확인하여 안정성 향상과 편향 감소를 나타낸다.
• 이 형식론은 환경 동역학과 학습 목표 간에 명확한 분리를 가능하게 하여, 구현 및 이론 개발을 단순화한다.