[논문 리뷰] Learning and Planning in Average-Reward Markov Decision Processes

Yi Wan, Abhishek Naik외 1명|arXiv (Cornell University)|2020. 06. 29.

Reinforcement Learning in Robotics참고 문헌 46인용 수 15

한 줄 요약

이 논문은 평균 보상 마르코프 결정 과정(MDP)를 위한 새로운 이완정책(model-free) 학습 및 계획 알고리즘을 소개한다. 이는 차분 Q-학습(Differential Q-learning)과 차분 TD-학습(Differential TD-learning)을 포함하며, 기준 상태 또는 기준 함수에 의존하지 않고 진짜 가치 함수로 수렴한다. 핵심 기여는 알려지지 않은 상수만큼 옮겨진 가치 함수가 아니라 실제 가치 함수로 수렴하는 것이다. 이는 시간 차이 오차(temporal-difference error)를 이용해 평균 보상 추정치를 갱신함으로써 달성되며, 이는 표본 수가 적거나 상태 공간이 큰 환경에서도 안정적인 기반 상태 없는 학습을 가능하게 한다. 이는 표본화된 상태 공간과 선형 함수 근사 설정 모두에서 성립한다.

ABSTRACT

We introduce learning and planning algorithms for average-reward MDPs, including 1) the first general proven-convergent off-policy model-free control algorithm without reference states, 2) the first proven-convergent off-policy model-free prediction algorithm, and 3) the first off-policy learning algorithm that converges to the actual value function rather than to the value function plus an offset. All of our algorithms are based on using the temporal-difference error rather than the conventional error when updating the estimate of the average reward. Our proof techniques are a slight generalization of those by Abounadi, Bertsekas, and Borkar (2001). In experiments with an Access-Control Queuing Task, we show some of the difficulties that can arise when using methods that rely on reference states and argue that our new algorithms can be significantly easier to use.

연구 동기 및 목표

• 기반 상태를 요구하지 않는 평균 보상 MDP에서 일반적이고 수렴하는 이완정책 모델-프리 제어 알고리즘이 부족한 문제를 해결한다.
• 알 수 없는 상수만큼 옮겨진 가치 함수가 아니라 진짜 가치 함수와 보상률로 수렴하는 예측 알고리즘을 개발한다.
• 자주 방문되는 상태-행동 쌍에 대한 사전 지식이 필요한 기반 함수에 의존하는 것을 제거한다. 이는 종종 해답의 일부를 사전에 안다는 것과 동치일 수 있다.
• 초기 조정 파rameter의 민감도에 영향을 받지 않는 선형 함수 근사 설정으로까지 수렴 보장을 확장한다.

제안 방법

• 기반 상태 없이 평균 보상을 명시적으로 추정하고, 시간 차이 오차를 이용해 이를 갱신함으로써 기반 상태 없이도 수렴하는 이완정책 제어 알고리즘인 차분 Q-학습을 제안한다.
• 시간 차이 오차 기반 갱신을 사용해 진짜 보상률과 차분 가치 함수로 수렴하는 새로운 이완정책 예측 알고리즘인 차분 TD-학습을 도입한다.
• Abounadi 등(2001)의 수렴 증명 기법을 일반화하여 기반 상태가 없을 경우에도 실제 가치 함수로의 수렴을 보장한다.
• 기존의 오차 형태가 아닌 시간 차이 오차를 평균 보상 및 가치 함수 추정의 주요 갱신 신호로 사용한다.
• 연속 상태 공간 설정에서의 확장성과 내구성을 평가하기 위해 실험에서 타일 코딩(tile coding)을 사용한 선형 함수 근사 기법을 적용한다.
• 배치 처리가 아닌 온라인, 점진적 갱신을 사용하여 계속되는 작업에서 실시간 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 기반 상태나 기반 함수에 의존하지 않고도 평균 보상 MDP에 대한 이완정책 모델-프리 제어 알고리즘을 설계할 수 있는가?
• RQ2 알 수 없는 상수만큼 옮겨진 함수가 아니라 진짜 가치 함수와 보상률로 수렴하는 예측 알고리즘을 개발할 수 있는가?
• RQ3 평균 보상 추정에 시간 차이 오차를 사용하는 것이 기존 방법에 비해 수렴성과 내구성을 향상시키는가?
• RQ4 기반 상태 없는 알고리즘의 성능은 기반 함수가 필요한 RVI Q-학습과 비교해 하이퍼파rameter 선택에 대해 얼마나 내구성이 있는가?
• RQ5 제안된 알고리즘은 수렴성과 성능을 유지하면서 선형 함수 근사 설정으로 성공적으로 확장될 수 있는가?

주요 결과

• 차분 Q-학습은 기반 상태 없이도 진짜 가치 함수로 수렴하며, 평균 보상 강화학습에서 오랫동안 해결되지 않았던 제약 조건을 해결한다.
• 알고리즘은 하이퍼파rameter 선택에 대해 매우 내구성이 있으며, 학습률 η를 비롯한 다양한 학습률과 단계 크기에서도 안정적인 학습 성능를 보인다.
• Catcher 문제에서 타일 코딩을 사용한 선형 함수 근사 기법을 적용했을 때, 차분 Q-학습은 약 0.9의 보상률을 달성했으며, 이는 최적의 1.0에 매우 가까운 성능이다.
• RVI Q-학습의 성능은 기반 함수의 선택에 매우 민감했으며, 기반 함수가 자주 방문되지 않을 경우 성능이 크게 떨어졌다.
• RVI Q-학습에서 첫 번째로 관측된 특징 벡터를 기반으로 사용했을 때, 일차원 Catcher 도메인에서는 이중 차원 PuckWorld 도메인보다 성능이 더 좋았다. 이는 환경의 구조에 민감한 것을 시사한다.
• 차분 TD-학습은 평균 보상 MDP에 대해 증명된 수렴성을 갖는 첫 번째 이완정책 모델-프리 예측 알고리즘이며, 보상률과 차분 가치 함수를 정확하게 추정한다.