[논문 리뷰] Meta-Learning Bandit Policies by Gradient Ascent

Branislav Kveton, Martin Mladenov외 4명|arXiv (Cornell University)|2020. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 81인용 수 5

한 줄 요약

이 논문은 알려지지 않은 사전 분포에서 샘플된 문제 인스턴스를 기반으로 미분 가능 정책에 대한 경사상승법을 사용하여 밴딧 정책을 위한 메타학습 프레임워크를 제안한다. 정책 파라미터를 정책 경사법을 통해 베이즈 손실을 최소화하도록 최적화함으로써, 비컨텍스츄얼 및 컨텍스츄얼 밴딧 환경 전반에서 뛰어난 경험적 성능을 달성하며, 명시적인 사전 가정이 필요 없이 최신 기준 성능을 초월한다.

ABSTRACT

Most bandit policies are designed to either minimize regret in any problem instance, making very few assumptions about the underlying environment, or in a Bayesian sense, assuming a prior distribution over environment parameters. The former are often too conservative in practical settings, while the latter require assumptions that are hard to verify in practice. We study bandit problems that fall between these two extremes, where the learning agent has access to sampled bandit instances from an unknown prior distribution $\mathcal{P}$ and aims to achieve high reward on average over the bandit instances drawn from $\mathcal{P}$. This setting is of a particular importance because it lays foundations for meta-learning of bandit policies and reflects more realistic assumptions in many practical domains. We propose the use of parameterized bandit policies that are differentiable and can be optimized using policy gradients. This provides a broadly applicable framework that is easy to implement. We derive reward gradients that reflect the structure of bandit problems and policies, for both non-contextual and contextual settings, and propose a number of interesting policies that are both differentiable and have low regret. Our algorithmic and theoretical contributions are supported by extensive experiments that show the importance of baseline subtraction, learned biases, and the practicality of our approach on a range problems.

연구 동기 및 목표

• 전통적인 밴딧 정책(보수적이고 최악의 경우에 초점)과 베이지안 밴딧(알려진 사전 분포가 필요하고 계산 비용이 높음) 사이의 격차를 해소한다.
• 알려진 사전 분포를 가정하지 않고 문제 인스턴스의 분포에 맞춰 데이터 기반으로 밴딧 정책을 학습할 수 있도록 한다.
• 정책 경사법을 사용하여 메타학습된 밴딧 정책에 대한 일반적이고 체계적이며 실용적인 접근법을 개발한다. 이는 특수한 조정이 필요로 하는 방법을 피한다.
• 이론적으로 효과적이며 기울기 기반 최적화에 적합한, 미분 가능한 밴딧 정책을 설계한다.
• 다양한 밴딧 문제 구조(다중 손잡이 및 선형 밴딧 포함)에서 이론적 실용성과 효과성을 입증한다.

제안 방법

• 알려지지 않은 사전 분포에서 샘플된 인스턴스를 기반으로 파arameterized된 밴딧 정책을 최적화하는 메타학습 프레임워크를 제안한다.
• 밴딧 문제의 구조를 반영하는 분석적으로 접근 가능한 보상 경사도를 유도하여, 롤아웃에서 효율적인 경사도 추정을 가능하게 한다.
• SoftElim 및 RNN 기반 정책과 같은 새로운 미분 가능한 밴딧 정책을 도입하여 표현력과 기울기 기반 최적화에 용이함을 동시에 확보한다.
• 기준값 차감과 학습된 편향을 사용하여 정책 경사도 최적화의 경사도 분산을 줄이고 학습 안정성을 향상시킨다.
• 스토하스틱 경사상승법을 통해 베이즈 손실을 최소화하도록 정책을 훈련함으로써 문제 인스턴스 분포 상의 평균 성능을 직접 최적화한다.
• 비컨텍스츄얼 및 컨텍스츄얼 밴딧 설정을 모두 지원하며, 구조화된 액션 공간과 컨텍스트 기반 보상 함수로 프레임워크를 확장한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 사전 분포를 가진 메타학습 환경에서 정책 경사도 방법이 밴딧 정책 학습에 효과적으로 적용될 수 있는가?
• RQ2 밴딧 문제에서 정책과 환경의 구조적 특성을 유지하면서 보상 경사도를 효율적으로 추정할 수 있는가?
• RQ3 SoftElim 및 RNN 기반 정책과 같은 미분 가능한 밴딧 정책이 실질적으로 최신 기준 성능을 초월하는 베이즈 손실을 달성할 수 있는가?
• RQ4 기준값 차감과 학습된 편향은 정책 경사도 학습의 안정성과 성능 향상에 어떤 역할을 하는가?
• RQ5 제안된 프레임워크는 사전 가정이 없이도 다양한 밴딧 문제 구조(예: 컨텍스츄얼 및 선형 밴딧)로 일반화 가능한가?

주요 결과

• GradBand이라는 이름의 제안된 방법은 샘플된 인스턴스에서 직접적으로 베이즈 손실을 최소화함으로써, 비컨텍스츄얼 및 컨텍스츄얼 밴딧 설정에서 최신 기준 성능을 크게 초월한다.
• 기준값 차감과 학습된 편향이 학습 안정성 향상과 성능 향상에 필수적이라는 것이 경험적으로 입증되었으며, 경사도 분산을 감소시키고 수렴 속도를 가속화한다.
• 미분 가능한 SoftElim 정책는 이전 연구에서 O(KΔ⁻⁴)였던 상수를 O(1)로 개선하여 더 낮은 손실 경계를 달성함으로써 이론적·실용적 성능 향상을 나타낸다.
• RNN 기반 정책는 다양한 문제 인스턴스에서 뛰어난 일반화 성능을 보이며, 이 프레임워크의 유연성과 복잡한 순차적 의사결정 구조로의 확장성(스케일러빌리티)을 입증한다.
• 표준 다중 손잡이 밴딧을 넘어서도 이 방법은 잘 일반화되며, 조합적 반반밴딧, 부분 모니터링, 비선형 일반선형 밴딧 등으로의 확장 가능성이 있다.
• 경험적 결과는 많은 경우에서 베이즈 보상이 정책 파라미터에 대해 볼록함을 시사하며, 기울기 상승법이 근사 최적의 정책으로 수렴할 가능성을 뒷받침한다.