[논문 리뷰] A Kernel-Based Approach to Non-Stationary Reinforcement Learning in Metric Spaces

Omar Darwiche Domingues, Pierre Ménard외 3명|arXiv (Cornell University)|2020. 07. 09.

Reinforcement Learning in Robotics참고 문헌 32인용 수 9

한 줄 요약

이 논문은 거리 공간 내 비정상적인 마르코프 결정 과정(MDP)을 위한 커널 기반 강화 학습 알고리즘인 KeRNS를 제안한다. 시간에 따라 변화하는 커널을 사용하여 환경 변화를 모델링하고 적응형 탐색을 가능하게 한다. 이 알고리즘은 커버링 차원과 MDP의 총 변동성에 비례하는 리그레트 경계를 달성하며, 슬라이딩 윈도우와 지수 감소 방식을 일반화하면서도 대표 상태를 통해 효율적인 구현을 가능하게 한다.

ABSTRACT

In this work, we propose KeRNS: an algorithm for episodic reinforcement learning in non-stationary Markov Decision Processes (MDPs) whose state-action set is endowed with a metric. Using a non-parametric model of the MDP built with time-dependent kernels, we prove a regret bound that scales with the covering dimension of the state-action space and the total variation of the MDP with time, which quantifies its level of non-stationarity. Our method generalizes previous approaches based on sliding windows and exponential discounting used to handle changing environments. We further propose a practical implementation of KeRNS, we analyze its regret and validate it experimentally.

연구 동기 및 목표

• 과거 지식이 유효하지 않게 될 수 있는 비정상적인 환경에서 탐색과 이용의 균형을 맞추는 데 도전한다.
• 커널 기반 함수 추정을 사용하여 시간에 따라 변화하는 MDP에 적응하는 비모수적 강화 학습 알고리즘을 개발한다.
• 슬라이딩 윈도우와 지수 감소와 같은 기존의 잊기 메커니즘들을 통합된 커널 프레임워크 내에서 일반화한다.
• 유사도 가정이 약간 있는 조건 하에 연속적인 거리 상태 공간에서의 비정상적 강화 학습에 대한 리그레트 경계를 제공한다.
• 대표 상태 선택을 통해 매 에피소드당 일정한 실행 시간을 확보하는 계산적으로 효율적인 변형인 RS-KeRNS를 설계한다.

제안 방법

• KeRNS는 과거 전이를 가중치를 주는 데 시간에 따라 변화하는 커널을 사용하여 최근 데이터에 더 높은 중요도를 부여하고 오래된 정보를 자동으로 잊도록 한다.
• 거리 공간 내 상태-행동 쌍에 대한 커널 스무딩을 통해 MDP의 전이 및 보상 함수에 대한 비모수적 추정을 수립한다.
• 누적된 커널 가중 방문 빈도의 역수에 의존하는 수정된 UCB 스타일 보너스를 사용하여 낙관적인 가치 함수 추정을 수행한다.
• 계산 비용을 줄이기 위해 대표 상태 선택 메커니즘을 사용하여 RS-KeRNS 변형을 구현하며, 이는 매 에피소드당 일정한 복잡도를 보장한다.
• 커널 함수는 시간적 감쇠(η^t를 통해)와 공간 유사도(ρ[u,v]를 통해)를 결합하여 시간적 잊기와 공간 일반화를 모두 가능하게 한다.
• 적절한 커널 파rameter를 선택함으로써 이 방법은 슬라이딩 윈도우와 지수 감소를 특수 케이스로 일반화한다.

실험 결과

연구 질문

• RQ1 비정상적인 MDP의 연속적인 상태-행동 공간에서 커널 기반 접근이 리그레트 경계를 달성할 수 있는가?
• RQ2 비정상적 강화 학습에서 시간에 따라 변화하는 커널의 사용이 전통적인 잊기 메커니즘(슬라이딩 윈도우 또는 지수 감소)보다 어떻게 다를까?
• RQ3 리그레트 성능을 희생시키지 않고도 커널 기반 강화 학습에서 매 에피소드당 일정한 시간 복잡도를 달성할 수 있는가?
• RQ4 커널 형태(예: 가우시안 vs. 4차 다항식)가 환경 변화에 대한 적응 속도와 리그레트에 어떤 영향을 미치는가?
• RQ5 리프시츠 상수가 알려져 있지 않을 경우 알고리즘이 어떻게 작동하는가? 그리고 근접 이웃 근사가 충분한가?

주요 결과

• KeRNS는 상태-행동 공간의 커버링 차원과 시간에 따른 MDP의 총 변동성에 비례하는 리그레트 경계를 달성하며, 비정상성의 정도를 정량화한다.
• 이 알고리즘은 제안된 시간 및 공간에 따라 변화하는 커널 프레임워크의 특수 케이스로서 슬라이딩 윈도우와 지수 감소 메커니즘을 모두 일반화한다.
• RS-KeRNS는 대표 상태를 사용함으로써 매 에피소드당 일정한 실행 시간을 확보하여 실용적인 구현이 가능하며, 유리한 리그레트-실행 시간 트레이드오���잉을 유지한다.
• 실험 결과에 따르면 RS-KeRNS는 환경 변화를 따라 최적 정책을 효과적으로 추적하며, Kernel-UCBVI보다 뛰어난 성능을 보이고, 변화 시점을 알고 있는 베이스라인과 유사한 성능을 달성한다.
• 커널의 형태(가우시안 vs. 4차)는 적응 속도에 영향을 미치며, 일부 설정에서는 4차 커널이 더 빠른 수렴을 보였다.
• 실제 리프시츠 상수가 알려져 있지 않아도 알고리즘이 효과적으로 작동하며, 가치 함수 업데이트에서 근접 이웃 근사가 충분한 것으로 밝혀졌다.