[논문 리뷰] Quantile Reinforcement Learning

Hugo Gilbert, Paul Weng|arXiv (Cornell University)|2016. 11. 03.

Auction Theory and Applications인용 수 6

한 줄 요약

이 논문은 기대 누적 보상 대신 분위수 기반 기준을 최적화하는 정책을 학습하기 위해 이중 시간 척도 확률적 근사법을 사용하는 Quantile Q-learning을 소개한다. 이 알고리즘은 누적 보상 분포의 30번째 백분위수를 최대화하도록 설계되었으며, Who Wants to Be a Millionaire 시뮬레이션 환경에서 안정적으로 목표 분위수 값 0.7에 수렴함을 확인하였다.

ABSTRACT

In reinforcement learning, the standard criterion to evaluate policies in a state is the expectation of (discounted) sum of rewards. However, this criterion may not always be suitable, we consider an alternative criterion based on the notion of quantiles. In the case of episodic reinforcement learning problems, we propose an algorithm based on stochastic approximation with two timescales. We evaluate our proposition on a simple model of the TV show, Who wants to be a millionaire.

연구 동기 및 목표

• 기대 누적 보상에 의존하는 기존 강화학습의 한계를 해결하기 위해, 분위수 기반 성능 기준을 최적화하는 방법을 제안한다.
• 순서형 피드백만 제공되는 환경 또는 극단적 결과에 대한 강건성이 중요한 상황에서의 학습을 가능하게 한다.
• 평균 대신 수익 분포의 특정 분위수를 최적화하는 정책을 학습하는 강화학습 알고리즘을 개발한다.
• 비대칭 수익 분포를 가진 실제 세계의 에피소딕 의사결정 환경에서 제안된 접근법을 경험적으로 검증한다.

제안 방법

• 이 방법은 Q함수를 빠른 시간 척도에서, 분위수 매개변수 θ를 느린 시간 척도에서 업데이트하는 이중 시간 척도 확률적 근사법을 사용한다.
• 수렴 조건을 만족시키기 위해 학습률 α(n) = 1/(n+1)^1.1를 사용하는 수정된 Q-학습 업데이트 규칙과 ε-탐욕적 탐색을 적용한다.
• 현재 추정된 값 V*θ(s₀)가 목표 분위수 1−τ 이하인지 이상인지에 따라 분위수 매개변수 θ를 업데이트하며, 단계 크기는 1/n이다.
• 정책은 θ를 조정하여 수익 분포의 분위수를 원하는 백분위수(예: τ=0.3일 경우 30번째 백분위수)로 이동시키는 방식으로 암묵적으로 최적화된다.
• 최종 상태 방문 빈도 벡터 f와 보상 벡터의 외적 곱을 계산하여 정책 성능을 추적하는 점수를 유지한다.
• 이론적 프레임워크인 이중 시간 척도 확률적 근사법(Borkar, 2008)에 의해 수렴이 보장되며, θ는 V*θ(s₀) = 1−τ를 만족하는 값으로 수렴한다.

실험 결과

연구 질문

• RQ1 기대값 대신 수익 분포의 분위수를 최적화하기 위해 강화학습을 효과적으로 적응시킬 수 있는가?
• RQ2 이중 시간 척도 확률적 근사 프레임워크를 어떻게 활용하여 특정 분위수의 누적 보상을 최대화하는 정책을 학습할 수 있는가?
• RQ3 제안된 알고리즘이 비대칭 수익 분포를 가진 실제 세계의 에피소딕 의사결정 과제에서 경험적으로 어떤 성능을 보이는가?
• RQ4 알고리즘은 목표 분위수로 어떻게 수렴하는가? 그리고 θ 매개변수는 수익 분포를 어떻게 형상화하는가?

주요 결과

• 알고리즘은 수익의 30번째 백분위수를 최대화하는 정책을 성공적으로 학습하였으며, 1000만 번의 학습 스텝 동안 V*θ(s₀)가 목표 값 0.7(1−τ)로 안정적으로 수렴하였다.
• 정책의 경험적 성능을 나타내는 점수는 약 0.7로 수렴하였지만, 탐색 효과로 인해 약간 낮은 수준이었다.
• 매개변수 θ는 안정적인 값 4로 수렴하였으며, 이는 V*θ(s₀) = 0.7을 달성하는 분위수 매개변수에 해당한다.
• 학습이 진행됨에 따라 V*θ(s₀)는 0.7 주변에서 감소하는 진동을 보이며 안정적인 수렴을 보였다.
• 학습률 α(n) = 1/(n+1)^1.1는 수렴을 보장하는 데 필요한 조건을 만족하였으며, 점진적 안정성을 확보하였다.
• 이 방법은 Who Wants to Be a Millionaire와 같이 수익 분포가 비대칭인 도메인에서 강건성을 입증하였으며, 평균보다 중앙값이나 하위 분위수를 최대화하는 것이 더 중요할 수 있다.