[논문 리뷰] Efficient Learning in Non-Stationary Linear Markov Decision Processes

Abdelaziz Touati, Pascal Vincent|arXiv (Cornell University)|2020. 10. 24.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 7

한 줄 요약

이 논문은 시간에 따라 변화하는 보상과 전이를 고려한 비정적 선형 마르코프 결정 과정(MDP)에서 온라인 강화학습을 위한 최적의 모델-프리 알고리즘 opt-wlsvi를 제안한다. 가중 최소 제곱 값 반복(Weighted Least Squares Value Iteration)에 지수 감쇠를 적용하여 오래된 데이터를 부드럽게 무시함으로써 동적 환경에 적응한다. 이 알고리즘은 $\widetilde{\mathcal{O}}(d^{5/4}H^{2}\Delta^{1/4}K^{3/4})$의 리그레트 한계를 달성한다. 여기서 $d$는 특징 차원, $H$는 수명 주기, $K$는 에피소드 수, $\Delta$는 비정적성의 척도이다.

ABSTRACT

We study episodic reinforcement learning in non-stationary linear (a.k.a. low-rank) Markov Decision Processes (MDPs), i.e, both the reward and transition kernel are linear with respect to a given feature map and are allowed to evolve either slowly or abruptly over time. For this problem setting, we propose OPT-WLSVI an optimistic model-free algorithm based on weighted least squares value iteration which uses exponential weights to smoothly forget data that are far in the past. We show that our algorithm, when competing against the best policy at each time, achieves a regret that is upper bounded by $\widetilde{\mathcal{O}}(d^{5/4}H^2 Δ^{1/4} K^{3/4})$ where $d$ is the dimension of the feature space, $H$ is the planning horizon, $K$ is the number of episodes and $Δ$ is a suitable measure of non-stationarity of the MDP. Moreover, we point out technical gaps in the study of forgetting strategies in non-stationary linear bandits setting made by previous works and we propose a fix to their regret analysis.

연구 동기 및 목표

• 보상과 전이 동역학이 시간에 따라 변화하는 에피소드 기반 비정적 선형 MDP에서 효율적인 강화학습에 도전하는 것.
• 고정된 환경 동역학을 가정하는 이전의 정적 MDP 알고리즘의 한계를 극복하여 시간에 따라 변화하는 조건에서 실패하지 않도록 하는 것.
• 고차원 또는 연속적인 상태 공간에서 탐색과 이용을 균형 있게 유지하는 계산적으로 효율적인 모델-프리 알고리즘 개발.
• 비정적성 하에서 리그레트 분석을 철저히 수행하여 각 에피소드에서 최고의 정책과의 성능을 측정하는 것.
• 비정적 선형 밴드잇에서의 감쇠 전략에 대한 이전 리그레트 분석에서 발견된 기술적 결함을 수정하는 것, 특히 오차 전파 제어 측면에서.

제안 방법

• 지수 감쇠를 적용한 가중 최소 제곱 값 반복 기반의 최적 모델-프리 알고리즘인 opt-wlsvi를 제안하여 오래된 데이터를 부드럽게 무시한다.
• 감쇠 인자 $\eta \in (0,1)$를 통해 지수 감쇠를 적용하여 오래된 전이와 보상을 낮은 가중치로 할당함으로써 동적 환경에 적응할 수 있도록 한다.
• 비 i.i.d. 설정에서 추정 오차를 제어하기 위해 순차적 가중 최소 제곱 추정기의 새로운 편차 부등식을 도입한다.
• 모델 추정 오차와 비정적성 모두를 고려한 신뢰 구간 구축 방식을 제안하여 불확실성에 대한 낙관주의를 보장한다.
• 행렬 노름과 특징 공간 기하학을 이용해 진짜 값 함수와 추정된 값 함수 간의 차이를 제어함으로써 값 반복 단계 간 오차 전파를 통제한다.
• 매개변수 공간에 대한 커버링 추론을 활용하여 함수 클래스의 복잡도를 제어하고, $\epsilon$-넷을 사용하여 필요한 근사 수를 유계로 제한한다.

실험 결과

연구 질문

• RQ1 시간에 따라 서서히 또는 급격히 변화하는 보상 및 전이 함수를 고려한 비정적 선형 MDP에 대해 증명 가능하게 효율적인 강화학습 알고리즘을 설계할 수 있는가?
• RQ2 가중 최소 제곱 추정에서의 지수 감쇠는 비정적 MDP에서 주기적 재초기화 전략과 비교해 리그레트에 어떤 영향을 미치는가?
• RQ3 시간에 따라 변화하는 동역학 하에서 비정적 선형 MDP에서 탐색, 일반화, 적응 간의 근본적 상충 관계는 무엇인가?
• RQ4 비정적 선형 밴드잇에서의 감쇠 전략에 대한 이전 연구에서 알려진 기술적 결함을 수정할 수 있는가?
• RQ5 비정적성 예산 $\Delta$, 수명 주기 $H$, 특징 차원 $d$, 에피소드 수 $K$에 대한 리그레트의 최적 의존성은 무엇인가?

주요 결과

• 제안된 opt-wlsvi 알고리즘은 비정적 선형 MDP에서 각 에피소드의 최고 정책과 경쟁할 때 $\widetilde{\mathcal{O}}(d^{5/4}H^{2}\Delta^{1/4}K^{3/4})$의 동적 리그레트 한계를 달성한다.
• 리그레트 한계는 $K$, $H$, $\Delta$에 대해 하향선형으로 증가하고, $d$에 대해 하중승선형으로 증가하여 고차원 특징 공간에서 유리한 일반화 성능을 보인다.
• 주기적 재초기화 전략에 비해 연속적인 적응을 가능하게 하는 부드러운 감쇠를 통해 갑작스러운 정책 재설정을 피함으로써 성능이 뛰어나다.
• 저자들은 이전 연구에서 비정적 선형 밴드잇의 감쇠 전략에 대한 리그레트 분석에서 발견된 기술적 오류를 규명하고 수정하였다. 특히 반복 단계 간 오차 전파 제어 측면에서 중요한 문제를 해결하였다.
• 비독립 동일분포가 아닌 데이터 하에서 추정 오차를 제어하는 데 핵심적인 새로운 순차적 가중 최소 제곱 추정기의 편차 부등식을 분석에서 확립하였다.
• 리그레트 한계는 $d$, $H$, $\Delta$, $K$에 대한 의존성에서 최적이며, 주기적 재시작 기반 LSVI-UCB와 같은 동시대의 최상위 성능 알고리즘과 동일한 성능을 달성한다.