[논문 리뷰] Single-partition adaptive Q-learning

João Pedro Araújo, Mário A. T. Figueiredo외 1명|arXiv (Cornell University)|2020. 07. 14.

Reinforcement Learning in Robotics참고 문헌 31인용 수 4

한 줄 요약

이 논문은 단일 파artition를 사용하면서도 상태-행동 공간을 적응적으로 분할하는 단일 파artition 적응형 Q-학습(SPAQL)을 제안한다. 이는 시간 불변 정책을 학습하면서 모델 자유형 강화학습 알고리즘의 성능을 향상시킨다. UCB(상한 신뢰도)와 버트만 탐색을 조합하고 자동으로 조정되는 온도를 적용함으로써, SPAQL는 적응형 Q-학습(AQL)보다 수렴 속도가 빠르고 샘플 효율성이 높으며, 특히 장수명 태스크에서 더 적은 암기 수와 학습 반복 수를 요구한다.

ABSTRACT

This paper introduces single-partition adaptive Q-learning (SPAQL), an algorithm for model-free episodic reinforcement learning (RL), which adaptively partitions the state-action space of a Markov decision process (MDP), while simultaneously learning a time-invariant policy (i. e., the mapping from states to actions does not depend explicitly on the episode time step) for maximizing the cumulative reward. The trade-off between exploration and exploitation is handled by using a mixture of upper confidence bounds (UCB) and Boltzmann exploration during training, with a temperature parameter that is automatically tuned as training progresses. The algorithm is an improvement over adaptive Q-learning (AQL). It converges faster to the optimal solution, while also using fewer arms. Tests on episodes with a large number of time steps show that SPAQL has no problems scaling, unlike AQL. Based on this empirical evidence, we claim that SPAQL may have a higher sample efficiency than AQL, thus being a relevant contribution to the field of efficient model-free RL methods.

연구 동기 및 목표

• 연속된 상태-행동 공간에서 모델 자유형 강화학습의 샘플 비효율성과 높은 메모리 비용 문제를 해결하기 위해.
• 빠른 수렴과 파artition 복잡도 감소를 가능하게 함으로써 적응형 Q-학습(AQL)을 개선하기 위해.
• 동적 온도 조정을 통한 하이브리드 UCB 및 버트만 탐색 전략을 사용해 탐색과 이용의 균형을 맞추기 위해.
• 장수명 에피소드 태스크에 효율적으로 스케일링 가능한 시간 불변 정책 학습 방법을 개발하기 위해.
• 특히 보너스 스케일링 파라미터에 대한 수동 초모수 조정 의존도를 줄이기 위해.

제안 방법

• SPAQL는 전체 상태-행동 공간을 둘러싸는 한 개의 공으로 시작하는 단일 적응형 파artition를 사용하며, 필요할 때만 분할한다.
• 학습 중 탐색과 이용의 균형을 맞추기 위해 상한 신뢰도(UCB)와 버트만 탐색의 혼합을 적용한다.
• 버트만 탐색의 온도 파라미터는 수렴 효율성을 향상시키기 위해 순환 스케줄을 통해 동적으로 조정된다.
• 에피소드 길이 H와 신뢰 수준 δ에 기반해 보너스 스케일링 파라미터 ξ를 자동으로 조정하지만, 실험 결과에서는 낮은 값이 바람직하다고 나타났다.
• 파artition 업데이트는 고정된 평가 에피소드 수 N을 가진 롤아웃을 사용하며, 각 공의 반지름은 Q-값 분산과 신뢰 구간에 따라 조정된다.
• 시간 불변 정책을 학습함으로써 시간 단위 파artition를 피함으로써 메모리 및 계산 오버헤드를 감소시킨다.

실험 결과

연구 질문

• RQ1 단일 파rtition 적응형 Q-학습 알고리즘이 에피소드적 연속 MDP에서 AQL보다 더 빠른 수렴과 더 나은 샘플 효율성을 달성할 수 있는가?
• RQ2 UCB와 버트만 탐색을 조합하고 온도를 적응적으로 조정할 경우 학습 성능과 초모수 민감도에 어떤 영향을 미치는가?
• RQ3 AQL에 비해 SPAQL는 얼마나 많은 시간 단계를 포함한 장수명 태스크에 스케일링 가능한가?
• RQ4 보너스 스케일링 파라미터 ξ는 수렴 보장을 훼손하지 않고 효과적으로 조정되거나 제거될 수 있는가?
• RQ5 시간 불변 정책을 사용할 경우 파artition 복잡도는 감소하면서도 성능은 유지되거나 향상되는가?

주요 결과

• SPAQL는 AQL보다 수렴 속도가 빠르며, 유사하거나 더 나은 성능을 달성하기 위해 훨씬 적은 암기 수(즉, 파artition 셀 수)를 요구한다.
• 라플라스 설문 함수를 사용한 기름 발견 문제에서, AQL보다 더 높은 보너스 스케일링 파라미터를 가졌음에도 불구하고 SPAQL가 누적 보상에서 승리한다.
• SPAQL는 AQL보다 보너스 스케일링 파라미터 ξ에 덜 민감하여 더 높은 강건성과 자동 조정 가능성의 잠재력을 보여준다.
• 에피소드 길이가 H=5에 이르는 장수명 에피소드에서도 안정적인 성능을 유지하여, AQL가 스케일링에 실패하는 상황에서의 확장성을 입증한다.
• 실험 결과에 따르면 ξ를 H/3 이하의 비제로 값으로 설정할 경우 최적의 성능를 얻을 수 있으며, 약 80 수준의 값은 과도하고 오히려 역효과를 낳는다.
• 이론적 표현에서 도출된 ξ 값은 종종 H를 초과하는 큰 값을 내포하고 있는데, 이는 실험 결과와 모순되며 보너스 항을 H로 제한하는 방식으로 재구성할 필요가 있음을 시사한다.