[논문 리뷰] Towards Deployment-Efficient Reinforcement Learning: Lower Bound and Optimality

Jiawei Huang, Jing‐Lin Chen외 4명|arXiv (Cornell University)|2022. 02. 14.

Age of Information Optimization인용 수 4

한 줄 요약

이 논문은 배포 효율적 강화학습(DE-RL)을 제약 조건이 있는 최적화 문제로 공식화하여, 각 배포 시에 대량의 트레이젝터리 배치를 수집하면서도 배포 횟수 $K$ 를 최소화한다. 결정론적 정책과 일반 정책에 대해 각각 $\Omega(dH)$ 와 $\widetilde{\Omega}(H)$ 의 정보 이론적 하한을 확립하고, 이러한 하한을 달성하는 알고리즘을 제안하여 유한 수평선 선형 MDP에서 최적의 배포 효율성을 입증한다.

ABSTRACT

Deployment efficiency is an important criterion for many real-world applications of reinforcement learning (RL). Despite the community's increasing interest, there lacks a formal theoretical formulation for the problem. In this paper, we propose such a formulation for deployment-efficient RL (DE-RL) from an "optimization with constraints" perspective: we are interested in exploring an MDP and obtaining a near-optimal policy within minimal \emph{deployment complexity}, whereas in each deployment the policy can sample a large batch of data. Using finite-horizon linear MDPs as a concrete structural model, we reveal the fundamental limit in achieving deployment efficiency by establishing information-theoretic lower bounds, and provide algorithms that achieve the optimal deployment efficiency. Moreover, our formulation for DE-RL is flexible and can serve as a building block for other practically relevant settings; we give "Safe DE-RL" and "Sample-Efficient DE-RL" as two examples, which may be worth future investigation.

연구 동기 및 목표

• 배포 횟수 $K$ 를 최소화하는 조건 하에서 대량의 샘플 배치를 수집하는 조건부 최적화 문제로 강화학습의 배포 효율성을 공식화하기.
• 유한 수평선 선형 MDP에서 정보 이론적 하한을 통해 배포 효율의 기본 한계를 규명하기.
• 결정론적 정책 및 일반 정책 배포 설정 모두에서 최적의 배포 복잡도를 달성하는 알고리즘 설계하기.
• 안전한 DE-RL과 샘플 효율적 DE-RL과 같은 실용적 변형으로 DE-RL 프레임워크를 확장하기.

제안 방법

• DE-RL을 배포 횟수 $K$ 를 최소화하는 문제로 공식화하고, 다음과 같은 제약 조건을 설정한다: (a) $K$ 번의 배포 후 $\varepsilon$-최적 정책을 반환하고, (b) 각 배포에서 문제 매개변수에 다항식 비례하는 $N$ 개의 트레이젝터리를 수집한다.
• 하한을 유도하고 알고리즘을 설계하기 위해 유한 수평선 선형 MDP를 구조적 모델로 사용한다.
• 최소 제곱가치 반복에 보상 보너스와 계층별 탐색을 통합한 결정론적 정책 알고리즘을 제안하여 $O(dH)$ 번의 배포를 달성한다.
• 분석을 위한 기술적 도구로, 타원형 잠재력 보조정리를 유한 샘플 버전의 배치 기반 형태로 제안한다.
• 비관적 및 낙관적인 오프라인 알고리즘을 조합한 혼합 정책 전략을 도입하여 단조적 정책 향상 제약 조건을 만족시킨다.
• 정책 향상 제약 조건 $J(\pi_{i+1}) \geq J(\pi_i) - \varepsilon$ 를 통해 안전한 DE-RL로 결과를 확장하고, $N$ 을 제한함으로써 샘플 효율적 DE-RL로도 확장한다.

실험 결과

연구 질문

• RQ1 DE-RL에서 $\varepsilon$-최적성을 달성하기 위해 필요한 최소 배포 횟수의 기본 하한은 무엇인가?
• RQ2 정보 이론적 하한을 달성하는 알고리즘을 설계할 수 있는가?
• RQ3 단지 결정론적 정책만을 배포하는 조건에서 배포 효율성의 한계는 어떻게 영향을 받는가?
• RQ4 N 이 제한될 경우, 배포 효율성과 샘플 효율성 사이의 상호 교환 관계는 어떠한가?
• RQ5 안전성 제약 조건인 단조적 정책 향상은 DE-RL 프레임워크에 어떻게 통합될 수 있는가?

주요 결과

• 논문은 결정론적 정책만을 배포하는 경우, 유한 수평선 선형 MDP에서 배포 복잡도에 대해 날카로운 $\Omega(dH)$ 하한을 확립한다.
• 일반 정책 배포의 경우 하한은 $\widetilde{\Omega}(H)$ 로, 제한이 없는 정책 설정에서도 여전히 수평선 의존성이 근본적인 요소로 남아 있음을 보여준다.
• 제안된 결정론적 정책 배포를 위한 알고리즘은 $O(dH)$ 번의 배포를 달성하여 하한과 정확히 일치함으로써 최적성을 입증한다.
• 유한 샘플 버전의 타원형 잠재력 보조정리의 새로운 배치 기반 형태가 Lemma 4.2로 증명되었으며, 이는 제안된 알고리즘의 분석을 가능하게 한다.
• 안전한 DE-RL에서 혼합 정책 전략은 비관적 및 낙관적 정책의 균형을 통해 높은 확률로 단조적 정책 향상을 보장한다.
• 이 프레임워크는 $N$ 이 제한되는 샘플 효율적 DE-RL로도 확장 가능하며, $K$ 와 $N_0$ 사이의 상호 교환 관계는 여전히 열린 문제로 남아 있다.