[논문 리뷰] Sample Complexity of Reinforcement Learning using Linearly Combined Model Ensembles

Aditya Modi, Nan Jiang외 2명|arXiv (Cornell University)|2019. 10. 23.

Reinforcement Learning in Robotics참고 문헌 32인용 수 9

한 줄 요약

이 논문은 상태에 따라 가중치가 결정되는 선형 조합을 통해 다수의 사전 훈련된, 가능하면 정확하지 않은 시뮬레이터를 통합하여 진정한 환경을 근사하는 샘플 효율적인 강화학습 알고리즘을 제안한다. 이 알고리즘은 상태 및 행동 공간 크기와 무관하게 알려지지 않은 매개변수의 수에 대해 다항 샘플 복잡도를 달성하며, 자연적인 가정 하에서 증명 가능한 효율적인 모델 선택을 제공하고, 경제적 하한선이 지수적으로 존재함을 보여준다.

ABSTRACT

Reinforcement learning (RL) methods have been shown to be capable of learning intelligent behavior in rich domains. However, this has largely been done in simulated domains without adequate focus on the process of building the simulator. In this paper, we consider a setting where we have access to an ensemble of pre-trained and possibly inaccurate simulators (models). We approximate the real environment using a state-dependent linear combination of the ensemble, where the coefficients are determined by the given state features and some unknown parameters. Our proposed algorithm provably learns a near-optimal policy with a sample complexity polynomial in the number of unknown parameters, and incurs no dependence on the size of the state (or action) space. As an extension, we also consider the more challenging problem of model selection, where the state features are unknown and can be chosen from a large candidate set. We provide exponential lower bounds that illustrate the fundamental hardness of this problem, and develop a provably efficient algorithm under additional natural assumptions.

연구 동기 및 목표

• 사전 훈련된, 가능하면 정확하지 않은 시뮬레이터의 앙상블을 활용하여 진정한 환경을 근사하는 샘플 효율적인 강화학습 알고리즘을 개발하는 것.
• 샘플 복잡도가 상태 공간 또는 행동 공간 크기와 무관하게 알려지지 않은 매개변수의 수에만 의존하도록 보장하는 것.
• 알 수 없는 상태 특성화 문제를 해결하기 위해 자연적인 가정 하에서 증명 가능한 효율적인 모델 선택 알고리즘을 제안하는 것.
• 상태 특성에 대한 사전 지식이 없을 경우 모델 선택의 샘플 복잡도에 대한 지수적 하한선을 통해 기본 한계를 규명하는 것.

제안 방법

• 진정한 환경을 K개의 기본 MDP의 상태에 따라 가중치가 결정되는 선형 조합으로 모델링하며, 가중치는 상태 특징과 알려지지 않은 매개변수에 의해 결정된다.
• 후보 특징 집합을 반복적으로 개선하는 계층적 알고리즘을 사용하며, 병합된 모델에서 근사 최적 정책을 학습하기 위한 서브루틴(알고리즘 1)을 활용한다.
• 고정된 수의 트래잭터리로 몬테카를로 롤아웃을 수행하여 높은 신뢰도로 정책 수익을 추정한다.
• 후보 특징 집합에 대해 이진 탐색을 적용하여 복잡도 기반으로 분할하고 점진적으로 탐색 공간을 정밀화한다.
• 기본 모델 조합에 선형성 가정을 적용하고, 신뢰구간을 활용해 탐색을 이끌어낸다.
• 추정된 수익이 임계값을 초과할 경우 종료 조건을 적용하여 고확률로 근사 최적성을 보장한다.

실험 결과

연구 질문

• RQ1 상태 및 행동 공간 크기와 무관하게 샘플 복잡도가 독립적인, 사전 훈련된 정확하지 않은 시뮬레이터의 선형 조합 앙상블을 사용해 근사 최적 정책을 학습할 수 있는가?
• RQ2 상태 특징이 알려지지 않은 채로 큰 후보 집합에서 선택해야 할 경우, 모델 선택의 기본 샘플 복잡도 한계는 무엇인가?
• RQ3 예를 들어 진정한 모델이 특징 클래스 내에서 실현 가능하다는 자연적인 가정 하에서, 증명 가능한 효율적인 모델 선택 알고리즘을 설계할 수 있는가?
• RQ4 이러한 앙상블 기반 모델 학습에서 샘플 복잡도가 알려지지 않은 매개변수의 수와 수명 주기(H)에 따라 어떻게 변화하는가?
• RQ5 특히 샘플 효율성 측면에서, 상태 특성에 대한 지식이 없는 모델 선택의 본질적 한계는 무엇인가?

주요 결과

• 제안된 알고리즘은 가치가 v* - ε 이상인 정책을 학습하는 데에 Õ(d*³K²H²/ε² · log d* · log(d*KHN/δ))의 샘플 복잡도를 달성한다. 여기서 d*는 최적 특징 집합의 차원이다.
• 샘플 복잡도는 알려지지 않은 매개변수의 수에 대해 다항식이며, 상태 공간 및 행동 공간 크기와 무관하다.
• 상태 특성에 대한 사전 지식이 없을 경우 모델 선택에 대해 지수적 하한선이 확립되어, 지식 기반 선택이 본질적으로 어렵다는 것을 보여준다.
• 알고리즘은 유니온 바운드를 다중 반복 및 추정 단계에 적용하여 고확률 성공을 보장한다.
• 알고리즘은 모델 정확도 부족에 대해 강건하며, 앙상블 기반 근사를 통해 시뮬레이션에서 실제 환경으로 정책을 이식할 수 있다.
• 분석 결과, 알고리즘의 성능은 전체 후보 특징 집합이 아닌 최적 특징 표현의 내재 차원성에만 의존한다.