[논문 리뷰] On Oracle-Efficient PAC RL with Rich Observations

Christoph Dann, Nan Jiang외 4명|arXiv (Cornell University)|2018. 03. 01.

Auction Theory and Applications인용 수 20

한 줄 요약

이 논문은 결정론적 숨겨진 상태 동역학과 풍부한 관측값을 가진 문맥적 의사결정 과정을 위한 계산적으로 효율적인 오라클 기반 강화학습 알고리즘인 Valor를 제안한다. 이 알고리즘은 비용 감수 분류와 선형 프로그래밍 오라클을 사용하여 표본 효율성을 달성하며, 기존의 표본 효율적인 알고리즘인 Olive가 확률적 동역학 하에서 오라클 모델 내에서 효율적으로 구현될 수 없다는 것을 증명함으로써, 기본적인 계산적 장벽을 드러낸다.

ABSTRACT

We study the computational tractability of PAC reinforcement learning with rich observations. We present new provably sample-efficient algorithms for environments with deterministic hidden state dynamics and stochastic rich observations. These methods operate in an oracle model of computation -- accessing policy and value function classes exclusively through standard optimization primitives -- and therefore represent computationally efficient alternatives to prior algorithms that require enumeration. With stochastic hidden state dynamics, we prove that the only known sample-efficient algorithm, OLIVE, cannot be implemented in the oracle model. We also present several examples that illustrate fundamental challenges of tractable PAC reinforcement learning in such general settings.

연구 동기 및 목표

• 풍부한 관측값과 결정론적 숨겨진 상태 동역학을 가진 환경을 위한 계산적으로 효율적인 강화학습 알고리즘을 개발하는 것.
• 기능 근사 기반 강화학습에서 통계적 표본 효율성과 계산 가능성의 격차를 해소하는 것.
• 기존의 표본 효율적인 알고리즘이 오라클 계산 모델 내에서 구현 가능한지 조사하는 것.
• 확률적 숨겨진 상태 전이가 존재하는 오라클 효율적인 PAC RL에서의 기본적인 계산적 장벽을 규명하는 것.

제안 방법

• 비용 감수 분류와 선형 프로그래밍 오라클을 사용하여 가치 함수와 정책을 효율적으로 최적화하는 알고리즘인 Valor를 설계하는 것.
• 표준 최적화 원리만을 통해 정책 및 가치 함수 클래스에 접근하는 오라클 모델에서 작동하는 것.
• 제약 최적화를 통한 낙관적 가치 함수 추정을 통해 탐색을 이끄는 것.
• 평균 가치 제약을 사용하여 열악한 가치 함수를 제거하면서도 최적의 정책 식별을 유지하는 것.
• Olive, 즉 일반 CDPs에서 표본 효율적으로 알려진 알고리즘은 확률적 동역학 하에서 오라클 모델 내에서 효율적으로 구현될 수 없다는 것을 증명하는 것.
• 분리된 가치 함수 및 정책 최적화 프레임워크에서 제곱 손실 또는 기대값 기반 제약을 사용할 경우의 장애를 입증하는 것.

실험 결과

연구 질문

• RQ1 표준 최적화 오라클만을 사용하여 풍부한 관측값을 가진 표본 효율적인 강화학습을 달성할 수 있는가?
• RQ2 일반 CDPs에서 표본 효율적으로 알려진 Olive 알고리즘이 오라클 모델 내에서 계산적으로 실현 가능한가?
• RQ3 확률적 숨겨진 상태 전이가 존재하는 설정에서 오라클 효율적인 RL의 기본적인 계산적 장벽은 무엇인가?
• RQ4 제곱 손실 또는 기대값 기반의 가치 함수 제약은 분리된 최적화 프레임워크에서 최적의 정책 식별을 유지할 수 있는가?
• RQ5 최적 가치 함수의 형태와 구조는 효율적인 탐색을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• Valor는 결정론적 숨겨진 상태 동역학과 풍부한 관측값을 가진 문맥적 의사결정 과정에서 계산적 및 통계적으로 효율적인 첫 번째 알고리즘이다.
• 일반 CDPs에서 표본 효율적으로 알려진 Olive는 확률적 동역학 하에서 오라클 모델 내에서 효율적으로 구현될 수 없으며, 이는 계산적 장벽을 확립한다.
• 평균 가치 제약만을 사용할 경우 최적 가치 함수의 형태에 대한 정보를 상실하게 되어, 열악한 정책으로 조기 종료가 발생할 수 있다.
• 실행 결과에 대한 제곱 손실 제약은 손실이 작더라도 최적 가치 함수와 크게 편향된 나쁜 함수를 구분하지 못한다.
• 결과적으로 표준 제약을 사용한 가치 함수와 정책 최적화의 분리 프레임워크는 오라클 효율성에 기본적인 장애를 초래한다.
• 논문은 완전성 유형 조건이 오라클 효율적인 RL에서 FVI 스타일 학습 절차가 성공하기 위해 필수적임을 규명한다.