[논문 리뷰] Universal Reinforcement Learning

Vivek F. Farias, Ciamac C. Moallemi외 2명|ArXiv.org|2007. 07. 20.

Computability, Logic, AI Algorithms참고 문헌 15인용 수 4

한 줄 요약

이 논문은 유한한 기억 의존성을 가진 미지의 환경에서 최적의 제어를 위한 보편적인 강화학습 방법인 액티브 Lempel-Ziv(Active LZ) 알고리즘을 제안한다. 미래의 결과가 유한한 과거 행동 및 관측 기록에 의존할 경우, 문맥 트리 모델링과 적응형 탐색을 통해 시스템의 구조나 기억 길이에 대한 사전 지식 없이도 점차적으로 최적 정책으로 수렴함을 보장한다. 이는 평균 비용 최적성에 대한 渐近적 보장을 제공한다.

ABSTRACT

We consider an agent interacting with an unmodeled environment. At each time, the agent makes an observation, takes an action, and incurs a cost. Its actions can influence future observations and costs. The goal is to minimize the long-term average cost. We propose a novel algorithm, known as the active LZ algorithm, for optimal control based on ideas from the Lempel-Ziv scheme for universal data compression and prediction. We establish that, under the active LZ algorithm, if there exists an integer $K$ such that the future is conditionally independent of the past given a window of $K$ consecutive actions and observations, then the average cost converges to the optimum. Experimental results involving the game of Rock-Paper-Scissors illustrate merits of the algorithm.

연구 동기 및 목표

• 미지의 유한 기억 의존성을 가진 환경에서 장기적으로 평균 비용 최적성을 달성하는 강화학습 알고리즘을 개발하는 것.
• 시스템의 전이 커널이나 기억 길이 K에 대한 사전 지식이 필요 없도록 하는 것.
• 보편적 데이터 압축(레플-지브) 원리와 동적 프rogramming 원리를 융합하여 모델 기반 최적 제어를 수행하는 것.
• 약한 가정 하에 최적 평균 비용으로의 수렴에 대한 이론적 보장을 확립하는 것.
• 유한한 역사적 의존성과 함께 부분 관측되거나 비 마르코프 환경에서도 학습이 가능하도록 하는 것.

제안 방법

• 액티브 Lempel-Ziv 알고리즘은 과거 행동과 관측을 바탕으로 향후 관측의 조건부 분포를 모델링하기 위해 Lempel-Ziv 유사 문맥 트리를 사용한다.
• 행동 및 관측의 관측된 시퀀스에 적응하는 증가하는 트리 구조를 유지하여 전이 확률의 추정치를 갱신한다.
• 트리 내에서 덜 방문된 문맥에 대한 탐색과 추정된 최적 행동의 이용을 균형 잡는 방식으로 적응형 탐색을 수행한다.
• 시간에 따라 변화하는 할인 인자 α → 1을 사용하는 할인가치 반복 프레임워크를 적용하여 장기 최적성을 확보한다.
• 할인 인자 α나 시간 수평에 대한 사전 지식 없이도 평균 비용 최적성을 달성하기 위해 이중화 기법(doubling-trick scheme)을 사용하며, 시간 수평을 점진적으로 늘리고 탐색 비율을 조정한다.
• 보렐-칸텔리 보조정리와 농도 경계를 활용하여, 고려되지 않은 행동이 고려 확률로 유한 번 이하로만 시행됨을 보여준다.

실험 결과

연구 질문

• RQ1 시스템의 전이 커널이나 기억 길이에 대한 사전 지식 없이도 강화학습 알고리즘이 점차적인 평균 비용 최적성을 달성할 수 있는가?
• RQ2 보편적 데이터 압축 원리가 미지의 환경에서 최적 제어 문제를 해결하는 데 어떻게 적용될 수 있는가?
• RQ3 환경의 기억 구조에 어떤 조건이 성립해야 최적 정책으로 수렴하는가?
• RQ4 문맥 트리 기반 적응형 탐색 전략이 강화학습에서 장기 최적성을 보장할 수 있는가?
• RQ5 제안된 알고리즘 하에서 비최적 행동의 비율이 0으로 수렴하는 속도는 어떠한가?

주요 결과

• 환경의 미래가 K개의 연속된 행동과 관측의 유한 창에 조건부로 독립일 경우, 액티브 Lempel-Ziv 알고리즘은 점차적인 평균 비용 최적성을 보장한다.
• 비최적 행동을 선택하는 비율은 O((1/log T)^c)의 속도로 0으로 수렴하며, 이는 느리지만 확실한 수렴을 의미한다. (c < 1)
• 할인 인자 α나 기억 길이 K에 대한 사전 지식 없이도 이중화 기법과 함께 βk = Ω(1/log log k)를 사용하여 최적성을 달성한다.
• 이론적 분석 결과, 고려 확률로 높은 확률로, k번째 에포크 동안 비최적 행동이 최대 O(2^k * (log log 2^k)^3 / log 2^k)의 시간 단위 동안만 시행되며, 이는 장기 최적성을 보장한다.
• 이 방법은 알려지지 않은 시스템 구조에 대해 강건하며, 유한 기억을 가진 상대방과의 가위바위보 문제나 고정된 디코더를 가진 공동 소스-채널 부호화 문제 등에 적용 가능하다.
• LZ 기반 문맥 트리를 컨텍스트 트리 무게화 방법으로 대체할 경우 수렴 속도를 향상시킬 수 있는 잠재적 개선 방안을 제안한다.