[논문 리뷰] Sparse Q-learning with Mirror Descent

Sridhar Mahadevan, Bo Liu|arXiv (Cornell University)|2012. 10. 16.

Model Reduction and Neural Networks참고 문헌 31인용 수 21

한 줄 요약

이 논문은 Bregman 발산을 기반으로 한 거리 생성 함수를 사용하는 프록시멀 최적화 방법인 미러 강하(mirror descent)를 활용하여 고차원 강화학습 문제를 효율적으로 해결하는 새로운 희소 Q-학습 알고리즘을 제안한다. p-노름과 마할라노비스 거리와 같은 Bregman 발산을 통한 l1-정규화를 통해 기존의 두 번째 차수 방법보다 훨씬 낮은 계산 비용으로 희소 정책 표현을 달성한다.

ABSTRACT

This paper explores a new framework for reinforcement learning based on online convex optimization, in particular mirror descent and related algorithms. Mirror descent can be viewed as an enhanced gradient method, particularly suited to minimization of convex functions in highdimensional spaces. Unlike traditional gradient methods, mirror descent undertakes gradient updates of weights in both the dual space and primal space, which are linked together using a Legendre transform. Mirror descent can be viewed as a proximal algorithm where the distance generating function used is a Bregman divergence. A new class of proximal-gradient based temporal-difference (TD) methods are presented based on different Bregman divergences, which are more powerful than regular TD learning. Examples of Bregman divergences that are studied include p-norm functions, and Mahalanobis distance based on the covariance of sample gradients. A new family of sparse mirror-descent reinforcement learning methods are proposed, which are able to find sparse fixed points of an l1-regularized Bellman equation at significantly less computational cost than previous methods based on second-order matrix methods. An experimental study of mirror-descent reinforcement learning is presented using discrete and continuous Markov decision processes.

연구 동기 및 목표

• 고차원 가치 함수 근사 문제를 해결하기 위해 희소성 유도 최적화 프레임워크를 도입하는 것.
• 기존의 두 번째 차수 행렬 갱신에 의존하는 l1-정규화된 Q-학습 방법의 계산 부담을 줄이는 것.
• 온라인 볼록 최적화에 기반한 확장 가능한 프록시멀-그래디언트 기반 시간차 학습 방법을 개발하는 것.
• 적응형 Bregman 발산을 사용한 미러 강하를 통해 이산 및 연속적 마르코프 결정 과정 모두에서 효율적인 학습을 가능하게 하는 것.
• l1-정규화된 벨만 방정식의 희소 고정점이 제1차 미러 강하를 통해 두 번째 차수 대안보다 더 효율적으로 찾을 수 있음을 보여주는 것.

제안 방법

• 이 방법은 Bregman 발산을 거리 생성 함수로 사용하는 프록시멀 알고리즘으로서의 미러 강하를 적용한다.
• 레전드르 변환을 통해 연결된 원래 공간과 쌍대 공간에서의 기울기 갱신을 수행함으로써 고차원 공간 내에서 효율적인 최적화를 가능하게 한다.
• p-노름과 표본 기울기 공분산 기반의 마할라노비스 거리 등 다양한 Bregman 발산을 탐색한다.
• l1 페널티를 통한 Q-값 갱신을 정규화하는 프록시멀-그래디언트 TD 방법을 제안하여 희소성을 유도한다.
• 정규화된 벨만 오차를 최소화하면서도 희소성을 유지하는 미러 강하 단계를 반복적으로 적용하여 Q-값을 갱신한다.
• 이 방법은 이산 및 연속적 MDP에 모두 적용되어 다양한 환경에서 확장성과 강건성을 입증한다.

실험 결과

연구 질문

• RQ1 Bregman 발산을 사용한 미러 강하가 Q-학습을 정규화하고 가치 함수 표현의 희소성을 유도하는 데 효과적으로 사용될 수 있는가?
• RQ2 l1-정규화된 Q-학습에 기반한 미러 강하 기반 Q-학습의 계산 비용은 두 번째 차수 방법과 비교해 어떻게 되는가?
• RQ3 마할라노비스 거리를 Bregman 발산으로 사용할 경우 고차원 MDP에서 수렴성과 희소성 향상에 기여하는가?
• RQ4 제안된 방법이 기존 접근 방식보다 더 효율적으로 l1-정규화된 벨만 방정식의 희소 고정점을 찾을 수 있는가?
• RQ5 희소성 기반의 미러 강하 Q-학습의 성능은 이산 및 연속 제어 과제에서 어떻게 확장되는가?

주요 결과

• 제안된 미러 강하 Q-학습 방법은 기존의 두 번째 차수 행렬 방법보다 훨씬 낮은 계산 비용으로 l1-정규화된 벨만 방정식의 희소 고정점을 도달한다.
• 마할라노비스 거리를 Bregman 발산으로 사용할 경우 고차원 가치 함수 근사에서 더 빠른 수렴성과 향상된 희소성 확보가 가능하다.
• 이 방법은 이산 및 연속적 마르코프 결정 과정 모두에서 뛰어난 성능을 보이며 확장성의 타당성을 입증한다.
• p-노름 기반 Bregman 발산의 사용은 Q-값 함수에서 효과적인 정규화 및 희소성 제어를 가능하게 한다.
• 실험 결과는 알고리즘이 다양한 RL 환경에서 높은 샘플 효율성과 강건성을 유지함을 보여준다.
• 이 프레임워크는 두 번째 차수 l1-정규화된 Q-학습의 계산 비용 효율성 있는 대안을 제공하여, 희소 가치 함수 학습의 실용성을 높인다.