[논문 리뷰] Differentiable Meta-Learning in Contextual Bandits.

Branislav Kveton, Martin Mladenov외 4명|arXiv (Cornell University)|2020. 06. 09.

Advanced Bandit Algorithms Research참고 문헌 31인용 수 6

한 줄 요약

이 논문은 알려지지 않은 사전 분포에서 샘플링된 인스턴스의 평균 보상을 최대화하기 위해 정책 기반 강화학습을 통해 정책을 최적화하는 미분 가능한 메타학습 접근법을 제안한다. 이 방법은 미분 가능한 저잔소비 정책을 사용하며, 기준선 감산과 학습된 편향의 효과를 입증하여 분류 과제에서 성능 향상을 이룬다.

ABSTRACT

We study a contextual bandit setting where the learning agent has access to sampled bandit instances from an unknown prior distribution $\mathcal{P}$. The goal of the agent is to achieve high reward on average over the instances drawn from $\mathcal{P}$. This setting is of a particular importance because it formalizes the offline optimization of bandit policies, to perform well on average over anticipated bandit instances. The main idea in our work is to optimize differentiable bandit policies by policy gradients. We derive reward gradients that reflect the structure of our problem, and propose contextual policies that are parameterized in a differentiable way and have low regret. Our algorithmic and theoretical contributions are supported by extensive experiments that show the importance of baseline subtraction, learned biases, and the practicality of our approach on a range of classification tasks.

연구 동기 및 목표

• 예상되는 밴딧 인스턴스의 분포에 대해 일반화 능력이 뛰어난 오프라인 정책 최적화를 가능하게 하기 위해.
• 효율적인 정책 기반 강화학습 최적화를 지원하는 미분 가능한 컨텍스트 정책을 개발하기 위해.
• 구조화된, 학습 가능한 정책 파rameterization을 통해 컨텍스트 밴딧 환경에서의 잔소비를 줄이기 위해.
• 기준선 감산과 학습된 편향이 정책 성능에 미치는 영향을 조사하기 위해.
• 실제 분류 과제에 대한 실용성과 적용 가능성을 입증하기 위해.

제안 방법

• 에이전트는 알려지지 않은 사전 분포 𝒫에서 샘플링된 인스턴스에 접근 가능한 컨텍스트 밴딧 환경에서 운영된다.
• 정책 기반 강화학습을 통한 종단 간 훈련을 가능하게 하기 위해 미분 가능한 컨텍스트 정책이 설계된다.
• 밴딧 문제의 기본 구조를 반영하여 학습 안정성을 향상시키기 위해 보상 기울기를 유도한다.
• 정책 기반 강화학습 업데이트의 분산을 줄이기 위해 기준선 감산이 적용된다.
• 성능 향상과 일반화 능력 향상을 위해 정책 네트워크에 학습된 편향이 통합된다.
• 실용성과 효과성을 검증하기 위해 다양한 분류 과제에서 방법이 평가된다.

실험 결과

연구 질문

• RQ1 미분 가능한 메타학습은 어떻게 컨텍스트 밴딧 인스턴스의 분포 전반에서 평균 성능을 향상시킬 수 있는가?
• RQ2 기준선 감산은 이 설정에서 정책 기반 강화학습 최적화의 안정성과 성능 향상에 어떤 역할을 하는가?
• RQ3 학습된 편향은 컨텍스트 밴딧 정책의 성능과 일반화 능력에 어떻게 영향을 미치는가?
• RQ4 미분 가능한 저잔소비 정책는 얼마나 효과적으로 정책 기반 강화학습을 통해 훈련될 수 있는가?
• RQ5 제안된 방법은 실세계 분류 과제에서 어떻게 확장되고 성능을 발휘하는가?

주요 결과

• 기준선 감산은 미분 가능한 메타학습 프레임워크에서 훈련 안정성과 최종 정책 성능을 크게 향상시킨다.
• 학습된 편향은 다양한 밴딧 인스턴스에서 더 나은 일반화와 낮은 잔소비를 기여한다.
• 미분 가능한 정책 파arameterization은 정책 기반 강화학습을 통해 효과적인 최적화를 가능하게 하며, 저잔소비를 달성한다.
• 이 방법은 다양한 분류 과제에서 실용성과 뛰어난 성능을 입증한다.
• 이 방법은 알려지지 않은 밴딧 인스턴스의 사전 분포에 대해 평균 성능을 최적화하는 데 성공적으로 적용된다.
• 이론적 및 실증적 결과는 유도된 보상 기울기가 문제의 구조를 효과적으로 반영함을 확인한다.