[논문 리뷰] Policy Gradients for Contextual Bandits.

Feiyang Pan, Qingpeng Cai외 3명|arXiv (Cornell University)|2018. 02. 12.

Advanced Bandit Algorithms Research참고 문헌 20인용 수 1

한 줄 요약

이 논문은 맥락 기반 밴딧에서 효율적인 강화 학습을 가능하게 하는, 닫힘형 마진 확률과 저분산 그래디언트를 갖춘 미분 가능한 정책 클래스인 정책 그래디언트를 위한 맥락 기반 밴딧(PGCB)을 제안한다. PGCB는 실제 세계 및 합성 데이터셋에서 고전적인 맥락 기반 밴딧 및 표준 정책 그래디언트 방법보다 뛰어난 성능을 보인다.

ABSTRACT

We study a generalized contextual-bandits problem, where there is a state that decides the distribution of contexts of arms and affects the immediate reward when choosing an arm. The problem applies to a wide range of realistic settings such as personalized recommender systems and natural language generations. We put forward a class of policies in which the marginal probability of choosing an arm (in expectation of other arms) in each state has a simple closed form and is differentiable. In particular, the gradient of this class of policies is in a succinct form, which is an expectation of the action-value multiplied by the gradient of the marginal probability over pairs of states and single contexts. These findings naturally lead to an algorithm, coined policy gradient for contextual bandits (PGCB). As a further theoretical guarantee, we show that the variance of PGCB is less than the standard policy gradients algorithm. We also derive the off-policy gradients, and evaluate PGCB on a toy dataset as well as a music recommender dataset. Experiments show that PGCB outperforms both classic contextual-bandits methods and policy gradient methods.

연구 동기 및 목표

• 기본 상태에 따라 맥락 분포와 보상이 달라지는 맥락 기반 밴딧 문제에서 효율적이고 안정적인 정책 학습의 과제를 해결하기 위해.
• 강화 학습을 위한 안정적인 그래디언트 추정을 가능하게 하는, 미분 가능한 마진 확률을 갖춘 정책 클래스를 개발하기 위해.
• 맥락 기반 밴딧 설정에서 표준 정책 그래디언트 방법에 비해 그래디언트 업데이트의 분산을 줄이기 위해.
• 중요도 샘플링을 활용하여 오프-정책 그래디언트 업데이트를 유도함으로써 더 높은 샘플 효율성과 학습의 유연성을 확보하기 위해.
• 합성 및 실제 세계의 추천 데이터셋에서 방법을 실험적으로 검증하여 뛰어난 성능을 입증하기 위해.

제안 방법

• 주어진 상태에서 암호를 선택할 마진 확률이 정책 매개변수에 대해 미분 가능하고 닫힘형 표현식을 갖는 정책 클래스를 제안한다.
• 정책 그래디언트를 상태-맥락 쌍에 대한 마진 확률의 그래디언트와 행동가치의 기대값의 곱으로 유도한다.
• 스토캐스틱 그래디언트 하강법을 사용한 효율적 최적화를 가능하게 하는 간결한 그래디언트 형태를 도입한다.
• PGCB 그래디언트의 분산이 표준 정책 그래디언트 방법보다 엄격히 낮다는 것을 이론적으로 분석한다.
• 중요도 샘플링을 활용하여 오프-정책 그래디언트 업데이트를 도출함으로써 현재 정책이 생성하지 않은 로그 데이터 또는 비정적 행동 정책에서의 학습을 가능하게 한다.
• 미분 가능한 정책 클래스와 저분산 그래디언트 추정을 결합한 PGCB 알고리즘을 개발한다.

실험 결과

연구 질문

• RQ1 닫힘형 마진 확률을 갖는 미분 가능한 정책 클래스는 맥락 기반 밴딧에서 샘플 효율성과 그래디언트 안정성 향상에 기여하는가?
• RQ2 제안된 정책 그래디언트 설정은 맥락 기반 밴딧 학습에서 표준 정책 그래디언트 방법보다 분산이 낮은가?
• RQ3 PGCB 프레임워크에서 도출된 오프-정책 그래디언트로는 로그된 데이터 또는 비정적 행동 정책에서 효과적인 학습이 가능한가?
• RQ4 실제 추천 작업에서 PGCB는 고전적인 맥락 기반 밴딧 알고리즘(LinUCB 등)과 표준 정책 그래디언트 기준선에 비해 어떻게 비교되는가?
• RQ5 정책의 닫힘형 구조는 실질적으로 더 빠른 수렴과 향상된 성능을 이끌어내는가?

주요 결과

• 이론적으로 증명되고 실험적으로 검증된 바에 따르면, PGCB는 표준 정책 그래디언트 방법보다 낮은 그래디언트 분산을 달성한다.
• 제안된 정책 클래스는 닫힘형, 미분 가능한 마진 확률을 제공하여 그래디언트 계산을 단순화하고 최적화의 안정성을 향상시킨다.
• 음악 추천 데이터셋에서 PGCB는 고전적인 맥락 기반 밴딧 방법과 표준 정책 그래디언트 기준선을 모두 초월한 누적 보상을 달성한다.
• 테스트 데이터셋에서의 실험을 통해 PGCB가 경쟁 방법보다 더 빠르게 수렴하고 높은 성능을 달성함을 확인했다.
• 오프-정책 그래디언트 설정은 로그된 데이터에서의 효과적인 학습을 가능하게 하여 실생활 응용에서 데이터 효율성을 향상시킨다.
• 개인화된 추천 및 자연어 생성을 포함한 다양한 환경에서 강력한 실험적 성능을 보였다.