[논문 리뷰] The Value Equivalence Principle for Model-Based Reinforcement Learning

Christopher Grimm|arXiv (Cornell University)|2020. 11. 06.

Reinforcement Learning in Robotics참고 문헌 42인용 수 11

한 줄 요약

이 논문은 상태 전이 예측의 정확도보다 가치 기반 계획에서의 모델 정확도를 우선시하는 모델 기반 강화학습을 위한 프레임워크인 값 동치성 원칙을 제안한다. 주어진 정책과 가치 함수 집합에서 동일한 벨먼 업데이트를 생성하는 모델을 동치로 정의함으로써, 성능을 유지하면서도 더 단순하고 효율적인 모델을 가능하게 하며, 무제로 및 가치 반복 네트워크와 같은 기법들에서 이론적·실험적 지원을 받는다.

ABSTRACT

Learning models of the environment from data is often viewed as an essential component to building intelligent reinforcement learning (RL) agents. The common practice is to separate the learning of the model from its use, by constructing a model of the environment's dynamics that correctly predicts the observed state transitions. In this paper we argue that the limited representational resources of model-based RL agents are better used to build models that are directly useful for value-based planning. As our main contribution, we introduce the principle of value equivalence: two models are value equivalent with respect to a set of functions and policies if they yield the same Bellman updates. We propose a formulation of the model learning problem based on the value equivalence principle and analyze how the set of feasible solutions is impacted by the choice of policies and functions. Specifically, we show that, as we augment the set of policies and functions considered, the class of value equivalent models shrinks, until eventually collapsing to a single point corresponding to a model that perfectly describes the environment. In many problems, directly modelling state-to-state transitions may be both difficult and unnecessary. By leveraging the value-equivalence principle one may find simpler models without compromising performance, saving computation and memory. We illustrate the benefits of value-equivalent model learning with experiments comparing it against more traditional counterparts like maximum likelihood estimation. More generally, we argue that the principle of value equivalence underlies a number of recent empirical successes in RL, such as Value Iteration Networks, the Predictron, Value Prediction Networks, TreeQN, and MuZero, and provides a first theoretical underpinning of those results.

연구 동기 및 목표

• 완전히 정확한 상태 전이 예측을 목표로 하는 전통적인 모델 기반 강화학습의 비효율성과 부정확성 문제를 해결하기 위해.
• 가치 기반 계획에서의 유용성에 기반해 모델 품질을 재정의하는 새로운 원칙인 값 동치성 원칙을 제안하기 위해.
• 모델이 관련 정책과 가치 함수에 대해 벨먼 업데이트를 유지하는 한 전체 동역학을 포괄할 必要 가 없음을 보여주기 위해.
• 최근 성공한 강화학습 아키텍처인 무제로 및 가치 반복 네트워크가 이 원칙에 기반함을 보여주기 위해.
• 이러한 모델이 더 단순함에도 불구하고 더 복잡한 대체 모델과 동일한 성능을 낼 수 있는 이론적 근거를 제공하기 위해.

제안 방법

• 주어진 정책과 가치 함수 집합에서 동일한 벨먼 업데이트를 생성하는 모델 간의 값 동치성을 정의하기 위해.
• 모델 학습을 값 동치 모델의 공간에서의 최적화 문제로 설정함으로써 전체 동역학 정확도의 필요성을 줄이기 위해.
• 대표적인 정책과 가치 함수 집합을 사용해 모델 공간을 제약함으로써, 더 많은 정책과 함수가 추가될수록 점차로 공간을 축소시키기 위해.
• 정책과 가치 함수 집합이 커질수록 값 동치 모델의 집합이 점차 수축하여 궁극적으로는 하나의 완벽한 모델로 수렴함을 보여주기 위해.
• 대부분의 표현 능력 제약 하에서 최대우도 추정보다 더 단순하고 효율적인 모델을 설계하기 위해 원칙을 적용하기 위해.
• 캐치, 포우 룸, 카트폴 환경에서의 실험을 통해 기존의 표준 모델 학습 방법과의 비교를 통해 접근법을 실증적으로 검증하기 위해.

실험 결과

연구 질문

• RQ1 정확한 상태 전이 예측이 아닌 가치 기반 계획의 유용성에 중점을 두어 모델 학습을 향상시킬 수 있는가?
• RQ2 정책과 가치 함수의 선택이 가능한 값 동치 모델 집합에 어떤 영향을 미치는가?
• RQ3 값 동치성 원칙을 사용할 경우, 모델 복잡도와 성능 사이의 상호 교환 관계는 어떻게 되는가?
• RQ4 값 동치 모델은 전통적인 모델 기반 강화학습보다 메모리와 계산 자원을 덜 사용하면서도 동일하거나 더 높은 성능을 낼 수 있는가?
• RQ5 값 동치성 원칙은 무제로 및 가치 반복 네트워크와 같은 최근의 성공 사례를 통합적으로 설명할 수 있는 이론적 기반을 제공하는가?

주요 결과

• 값 동치 모델은 전체 동역학 모델과 비교해 유사한 성능을 달성하면서도 훨씬 적은 메모리와 계산 자원을 요구한다.
• 정책과 가치 함수 집합이 커질수록 값 동치 모델의 클래스는 점차 줄어들며, 궁극적으로는 하나의 완벽한 모델로 수렴한다.
• 표현 능력이 제한된 환경에서는 적절한 정책 및 함수 기반의 값 동치 모델이 최대우도 추정보다 뛰어난 성능을 낸다.
• 캐치, 포우 룸, 카트폴 환경에서의 실험 결과, 값 동치 모델 학습이 최대우도 추정과 같은 전통적 방법과 비교해 동등하거나 더 높은 성능을 보였다.
• 값 동치성 원칙은 무제로, 가치 반복 네트워크, 트리큐엔과 같은 아키텍처의 성공에 대한 이론적 기반을 제공한다. 이들은 암묵적으로 이 원칙을 활용하고 있다.
• 환경의 전체 동역학을 포괄하지 않더라도, 관련 벨먼 업데이트를 유지하는 한 효율적인 계획이 가능함을 보여준다.