[논문 리뷰] From Reinforcement Learning to Optimal Control: A unified framework for sequential decisions

Warren B. Powell|arXiv (Cornell University)|2019. 12. 07.

Reinforcement Learning in Robotics인용 수 8

한 줄 요약

이 논문은 불확실성 하에서 순차적 의사결정 문제를 위한 통합된 프레임워크를 제안하며, 스토하스틱 최적 제어와 강화 학습을 포함한 15개의 별개 연구 분야를 통합한다. 이는 네 가지 보편적인 정책 클래스를 식별함으로써 이루어지며, 두 분야가 유사한 문제를 해결하지만 강화 학습은 이산 MDP 기반의 근본적 제약으로 인해 범위가 제한된 반면, 제안된 프레임워크는 스토하스틱 제어에서 영감을 얻어 다양한 적용 분야에서 확장 가능하고 유연한 모델링 및 정책 설계를 가능하게 한다.

ABSTRACT

There are over 15 distinct communities that work in the general area of sequential decisions and information, often referred to as decisions under uncertainty or stochastic optimization. We focus on two of the most important fields: stochastic optimal control, with its roots in deterministic optimal control, and reinforcement learning, with its roots in Markov decision processes. Building on prior work, we describe a unified framework that covers all 15 different communities, and note the strong parallels with the modeling framework of stochastic optimal control. By contrast, we make the case that the modeling framework of reinforcement learning, inherited from discrete Markov decision processes, is quite limited. Our framework (and that of stochastic control) is based on the core problem of optimizing over policies. We describe four classes of policies that we claim are universal, and show that each of these two fields have, in their own way, evolved to include examples of each of these four classes.

연구 동기 및 목표

• 불확실성 하에서 순차적 의사결정 문제를 다루는 15개의 공동체 간의 분열을 해결하기 위해.
• 스토하스틱 최적 제어의 모델링 프레임워크가 강화 학습에서 사용하는 이산 MDP 기반 프레임워크보다 더 유연하고 확장 가능하다는 것을 보여주기 위해.
• 순차적 의사결정에서 알려진 모든 정책 전략을 포함하는 네 가지 보편적인 메타-클래스 정책을 식별하고 형식화하기 위해.
• 스토하스틱 최적 제어와 강화 학습이 모두 네 가지 정책 클래스를 암묵적 또는 명시적으로 사용하지만, 후자는 기초 가정으로 인해 제약을 받는다는 점을 주장하기 위해.
• 두 분야의 범위를 확장하기 위해 핵심 문제들이 하나의 일반화 가능한 모델링 프레임워크에 포함된다는 것을 보여주기 위해.

제안 방법

• 정책 최적화를 기반으로 하는 보편적 모델링 프레임워크를 제안하며, 상태 변수, 결정 변수, 외생 정보, 전이 함수를 포함한다.
• 스토하스틱 제어 모델링 언어(상태 역학, 정보 구조, 성능 지표 포함)를 채택하면서도 이를 광범위하게 적용 가능한 형태로 조정한다.
• 네 가지 보편적인 정책 클래스를 도입한다: (1) 룩업 테이블, (2) 가치 함수 근사(VFAs), (3) 정책 함수 근사(PFAs), (4) 비용 함수 근사(CFAs), 포함된 매개변수 형태까지.
• 스토하스틱 최적 제어와 강화 학습이 모두 네 가지 정책 클래스의 예시를 사용하지만, 강화 학습의 MDP 기반 기초로 인해 적용 범위가 제한된다는 것을 입증한다.
• 실제 환경에서의 유연성과 확장 가능성을 보여주기 위해 다중 에이전트 에너지 저장 문제를 활용한다.
• 이 프레임워크가 모델 기반 및 모델리스 접근 방식을 모두 수용하며, 하이브리드 정책 설계를 지원한다는 점을 주장한다.

실험 결과

연구 질문

• RQ1 불확실성 하에서 순차적 의사결정 문제를 다루는 15개의 공동체를 모두 포함할 수 있는 통합 프레임워크를 어떻게 구성할 수 있는가?
• RQ2 이산 마르코프 결정 과정(MDP)에 기반한 강화 학습 프레임워크가 현실의 순차적 의사결정 문제를 모델링하는 데 부족한 이유는 무엇인가?
• RQ3 순차적 의사결정에서 알려진 모든 정책 전략을 표현할 수 있는 네 가지 보편적인 정책 메타-클래스는 무엇인가?
• RQ4 제안된 프레임워크는 어떻게 스토하스틱 최적 제어와 강화 학습의 전통적 문제 영역을 초월하여 범위를 확장하는가?
• RQ5 복잡하고 확률적인 환경에서, 매개변수화된 비용 함수 근사(CFAs)는 가치 함수 근사나 룩업 전망보다 어떤 이점이 있는가?

주요 결과

• 제안된 프레임워크는 불확실성 하에서 순차적 의사결정 문제를 다루는 15개의 공동체에 대해 보편적으로 적용 가능하며, 전통적인 강화 학습의 좁은 범위를 초월한다.
• 스토하스틱 최적 제어의 모델링 프레임워크는 강화 학습에서 사용하는 이산 MDP 기반 프레임워크보다 훨씬 더 유연하고 확장 가능하며, 이는 현실 적용 가능성에 제한을 둔다.
• 루크업 테이블, 가치 함수 근사, 정책 함수 근사, 비용 함수 근사의 네 가지 정책 클래스는 모두 스토하스틱 최적 제어 및 강화 학습 공동체에서 암묵적 또는 명시적으로 사용된다.
• 일반적으로 히ュ리스틱으로 간주되지만, 도메인 지식을 통합하고 현실적인 확률 모델에서 조정이 가능하므로 매우 효과적인 것으로 밝혀진 매개변수화된 비용 함수 근사(CFAs)는 단순한 룩업 전망을 능가한다.
• 각 에이전트를 자체 상태, 결정, 정보를 가진 독립적 시스템으로 간주함으로써 프레임워크는 다중 에이전트 시스템을 모델링할 수 있으며, 전역 시스템 상태가 존재한다는 비현실적인 가정을 피한다.
• 논문은 강화 학습 분야를 Q-러닝이나 딥 강화 학습에 국한하지 않고, 순차적 의사결정 문제에서의 어떤 정책에나 적용 가능한 일반적 방법론으로 재정의해야 한다고 결론 내리며, 이를 통해 스토하스틱 최적 제어와 함께 하나의 이론적 프레임워크 아래 통합됨을 제안한다.