[논문 리뷰] Minimum-Delay Adaptation in Non-Stationary Reinforcement Learning via Online High-Confidence Change-Point Detection

Lucas N. Alegre, Ana L. C. Bazzan외 1명|arXiv (Cornell University)|2021. 05. 19.

Data Stream Mining Techniques인용 수 5

한 줄 요약

이 논문은 연속된 상태와 행동을 가진 비스테이셔너리 환경에서 빠른 적응을 가능하게 하기 위해 온라인 고신뢰도 변화점 감지 기반의 모델 기반 강화학습 알고리즘인 MBCD를 제안한다. 변화점 감지를 최소 지연으로 수행하면서도 잘못 알림(가짜 경고)의 수를 제한함으로써 MBCD는 최신 기술의 모델리스, 모델기반, 메타학습 방법들을 능가한다 — 특히 사전 훈련 없이 또는 분포 외의 맥락에 직면했을 때의 완전한 온라인 설정에서 두각을 나타낸다.

ABSTRACT

Non-stationary environments are challenging for reinforcement learning algorithms. If the state transition and/or reward functions change based on latent factors, the agent is effectively tasked with optimizing a behavior that maximizes performance over a possibly infinite random sequence of Markov Decision Processes (MDPs), each of which drawn from some unknown distribution. We call each such MDP a context. Most related works make strong assumptions such as knowledge about the distribution over contexts, the existence of pre-training phases, or a priori knowledge about the number, sequence, or boundaries between contexts. We introduce an algorithm that efficiently learns policies in non-stationary environments. It analyzes a possibly infinite stream of data and computes, in real-time, high-confidence change-point detection statistics that reflect whether novel, specialized policies need to be created and deployed to tackle novel contexts, or whether previously-optimized ones might be reused. We show that (i) this algorithm minimizes the delay until unforeseen changes to a context are detected, thereby allowing for rapid responses; and (ii) it bounds the rate of false alarm, which is important in order to minimize regret. Our method constructs a mixture model composed of a (possibly infinite) ensemble of probabilistic dynamics predictors that model the different modes of the distribution over underlying latent MDPs. We evaluate our algorithm on high-dimensional continuous reinforcement learning problems and show that it outperforms state-of-the-art (model-free and model-based) RL algorithms, as well as state-of-the-art meta-learning methods specially designed to deal with non-stationarity.

연구 동기 및 목표

• 알 수 없는 잠재 요인으로 인해 MDP의 동역학과 보상이 예측할 수 없이 변화하는 비스테이셔너리 환경에서 효율적인 정책 학습 문제를 해결하기 위해.
• 시스템 동역학의 변화를 실시간으로 감지하기 위해 예측 오차를 모니터링하고, 최소 지연으로 맥락 변화를 감지하면서도 낮은 잘못 알림 비율을 유지하기 위해.
• 사전 훈련 단계나 맥락 분포 또는 경계에 대한 사전 지식 없이도 완전히 온라인 설정에서 효과적으로 작동하기 위해.
• 비스테이셔너리 환경에서 고차원 연속 제어 과제에서 기존의 모델리스, 모델기반, 메타학습 강화학습 알고리즘을 능가하기 위해.
• 훈련 중에 볼 수 없었던 새로운 분포 외 맥락에 직면했을 때 샘플 효율적인 적응을 가능하게 하기 위해.

제안 방법

• 알 수 없는 MDP 분포의 서로 다른 맥락 모드에 특화된 확률적 동역학 예측기들의 혼합 모델을 구성한다.
• 예측 오차를 모니터링하고 실시간으로 시스템 동역학의 변화를 감지하기 위해 온라인 고신뢰도 변화점 감지 통계량을 활용한다.
• 변화점 감지는 신뢰수준 임계값을 가진 순차 가설 검정 기반으로 이루어지며, 잘못 알림 비율을 낮추면서도 감지 지연를 최소화한다.
• 변화가 감지되면 시스템은 새로운 맥락 특화 정책의 생성과 배포를 트리거하며, 적절한 경우 이전에 최적화된 모델을 재사용한다.
• 사전 훈련 단계가 필요 없이, 알 수 없는 분포에서 유래한 임의로 다른 맥락에 동적으로 적응할 수 있도록 작동한다.
• 모델기반 계획과 맥락 인식 정책 적응을 융합함으로써 환경 변화에 신속하게 대응할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존 방법과 비교해 볼 때 온라인 변화점 감지 기반의 맥락 변화 감지가 비스테이셔너리 MDP에서 더 신속하고 신뢰할 수 있는 감지를 가능하게 하는가?
• RQ2 사전 훈련 단계 없이도 제안된 방법이 완전한 온라인 설정에서 어떻게 작동하는가?
• RQ3 훈련 중에 볼 수 없었던 분포 외 맥락에 직면했을 때 알고리즘이 높은 성능을 유지할 수 있는가?
• RQ4 비스테이셔너리 연속 제어 과제에서 최신 기술의 모델리스 및 모델기반 강화학습 알고리즘과 비교해 볼 때 방법의 성능은 어떠한가?
• RQ5 감지 지연과 잘못 알림을 최소화함으로써 방법이 얼마나 감소된 불만족도(레그레트)를 달성하는가?

주요 결과

• MBCD는 사전 훈련 단계 없이도 비스테이셔너리 미로 환경에서 맥락 변화에 대해 균일하고 높은 성능를 유지하며, MBPO나 SAC와 같은 최신 기술 강화학습 알고리즘은 성능이 크게 저하된다.
• 완전한 온라인 설정(사전 훈련 없음)에서 MBCD는 MBPO와 SAC를 능가하며, 실시간 적응에서 뛰어난 강건성과 적응 능력을 입증한다.
• 훈련 중에 볼 수 없었던 분포 외 맥락에서 테스트한 결과, MBCD는 짧은 적응 기간 동안 점진적으로 성능이 저하되며 유연하게 대응하는 반면, ReBAL과 GrBAL과 같은 메타학습 방법은 치명적인 실패를 겪는다.
• 감지 지연를 최소화하면서도 낮은 잘못 알림 비율을 유지함으로써 환경 변화에 신속하게 대응할 수 있다.
• 특히 테스트 분포가 훈련 분포와 다를 경우, MBCD는 비스테이셔너리 환경을 위한 메타학습 방법보다 뚜렷이 뛰어난 성능를 보이며, 특히 분포 외 맥락에 대해 뛰어난 성능를 유지를 한다.
• 맥락 경계나 분포에 대한 사전 지식 없이도 비스테이셔너리 환경에서 효율적이고 계속적인 온라인 학습을 가능하게 한다.