[논문 리뷰] Clustering Markov Decision Processes For Continual Transfer

Maqsood Mahmud, Majd Hawasly외 2명|arXiv (Cornell University)|2013. 11. 15.

Reinforcement Learning in Robotics참고 문헌 47인용 수 18

한 줄 요약

이 논문은 기존에 해결된 여러 MDP를 압축적으로 표현하기 위해 최소한의 소스 서브셋(ε-넷)을 선택함으로써 대규모의 이전에 해결된 MDP를 효율적으로 표현하는 클러스터링 프레임워크를 제안한다. 이 소스 서브셋은 각 원래 MDP에 대해 잔여값이 ε 이하인 소스 정책을 제공한다. 본 논문은 정책 재사용 알고리즘인 EXP-3-Transfer와 새로운 MDP 거리 측정 기준 $d_V$ 및 비용 함수 $g(\cdot)$를 사용하는 증명 가능하게 수렴하는 클러스터링 알고리즘인 MHAV를 제안하며, 높은 작업 복잡도를 가지는 감시 작업에 대해 수명 주기 강화 학습에서 더 높은 샘플 효율성을 보여준다.

ABSTRACT

We present algorithms to effectively represent a set of Markov decision processes (MDPs), whose optimal policies have already been learned, by a smaller source subset for lifelong, policy-reuse-based transfer learning in reinforcement learning. This is necessary when the number of previous tasks is large and the cost of measuring similarity counteracts the benefit of transfer. The source subset forms an `$ε$-net' over the original set of MDPs, in the sense that for each previous MDP $M_p$, there is a source $M^s$ whose optimal policy has $

연구 동기 및 목표

• 이전에 해결된 MDP의 수가 많아질 경우 수명 주기 강화 학습의 확장성 문제를 해결하기 위해, 유사도 측정 비용이 전이의 이점을 상회하는 상황을 다루는 것.
• 각 이전 MDP가 잔여값 < ε인 소스 정책을 가지는 최소의 대표 서브셋(ε-넷)을 체계적으로 선택하는 방법을 개발하는 것.
• 선택된 소스 서브셋을 최적으로 활용하여 새로운 MDP에서 학습하는 데 목적이 있는 정책 재사용 알고리즘 EXP-3-Transfer를 설계하는 것.
• 정책 기반 유사도를 기반으로 하는 비용 함수를 최소화하는 프로빙 가능하게 수렴하는 알고리즘(MHAV)을 포함한 클러스터링 프레임워크를 구축하는 것.
• 다이나믹한 침투 패턴을 가지는 감시 도메인에서 제안된 방법을 검증하여, 작업 복잡도 증가 조건에서도 샘플 효율성이 향상됨을 보여주는 것.

제안 방법

• 최적의 가치 함수의 차이를 기반으로 MDP 간의 유사도를 측정하기 위해 정책 기반 MDP 거리 측정 기준 $d_V$ 를 도입한다.
• 선택된 소스 서브셋이 원래 MDP 집합을 얼마나 잘 커버하는지, 그리고 낮은 잔여값을 유지하는지를 평가하기 위해 비용 함수 $g(\cdot)$ 를 정의한다.
• 메트로폴리스-하스팅스 샘플링을 사용하여 클러스터 구성 탐색을 수행하고 최적의 클러스터링으로 수렴하는 MCMC 기반 알고리즘인 MHAV를 제안한다.
• 융합, 분할, 클러스터 간 이동 등의 동작을 위한 세부적인 제안 분포를 포함하는 클러스터 구성에 대한 전이 모델을 구현하여 세부 균형을 확보한다.
• MHAV에서 대칭적 제안 비율을 사용하여 클러스터링에 대한 정적 분포로의 수렴을 보장하고 세부 균형을 유지한다.
• 클러스터링 프레임워크를 EXP-3-Transfer와 통합하여, 소스 서브셋의 정책을 재사용하고, 잔여값 한계가 보장된 컨텍스트 밴딧 스타일 알고리즘을 적용한다.

실험 결과

연구 질문

• RQ1 기존에 해결된 MDP의 압축된 소스 서브셋을 자동으로 선택할 수 있는가? 이때 각 신규 MDP가 잔여값 < ε인 소스 정책을 가지는가?
• RQ2 정책 기반 유사도를 어떻게 체계적으로 측정하여 효과적인 클러스터링을 이끌 수 있는가?
• RQ3 최적 또는 근사 최적의 소스 서브셋을 확보하기 위해 증명 가능하게 수렴하는 클러스터링 알고리즘을 설계할 수 있는가?
• RQ4 제안된 클러스터링 프레임워크는 단순한 정책 재사용 대비 생명 주기 강화 학습에서 샘플 효율성을 향상시키는가?
• RQ5 전체 시스템(클러스터링 + EXP-3-Transfer)의 성능은 이전 작업의 수와 복잡도 증가에 따라 어떻게 변화하는가?

주요 결과

• 제안된 MHAV 클러스터링 알고리즘은 클러스터링에 대한 정적 분포로 수렴하여 소스 MDP의 신뢰성 있는 선택을 보장한다.
• 작업 복잡도와 이전 작업의 수가 증가하는 감시 작업 환경에서, 클러스터링을 적용한 EXP-3-Transfer는 표준 정책 재사용 및 Q-러닝보다 우수한 성능을 보였다.
• 이전 작업의 수와 작업 복잡도가 낮을 경우, 클러스터링 없이 정책 재사용이 더 우수한 성능을 보였지만, 복잡도가 증가함에 따라 이 우위는 점점 줄어들었다.
• 클러스터링 프레임워크는 대규모 MDP 집합을 압축적으로 표현함으로써 상당한 유사도 측정 비용 절감을 이룬다.
• 누적 보상 곡선 분석 결과, 제안된 방법은 높은 복잡도 환경에서 우월한 성능을 보이며, 수명 주기 전이 학습에서 클러스터링의 유용성을 확인한다.
• 시간 비교 결과, 클러스터링 기반 접근법은 특히 복잡한 시나리오에서 더 낮은 학습 시간과 낮은 분산을 유지함을 보여주었다.