[논문 리뷰] Metadata-based Multi-Task Bandits with Bayesian Hierarchical Models

Runzhe Wan, Jing Guo외 1명|arXiv (Cornell University)|2021. 08. 13.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 7

한 줄 요약

이 논문은 관련된 작업들 간의 정보를 구조화된 메타데이터를 통해 공유함으로써 문맥적 다중 손잡이 기회학습을 향상시키기 위해 베이지안 계층 모델을 사용하는 메타데이터 기반 다중 작업 밴딧 프레임워크를 제안한다. 계층적 사전분포를 통해 작업 유사성을 모델링함으로써 샘플 효율성과 누적 손실 경계를 향상시키는 방법으로서, 기준 밴딧 알고리즘에 비해 합성 및 실세계 추천 작업에서 뛰어난 성능을 보여준다.

ABSTRACT

How to explore efficiently is a central problem in multi-armed bandits. In this paper, we introduce the metadata-based multi-task bandit problem, where the agent needs to solve a large number of related multi-armed bandit tasks and can leverage some task-specific features (i.e., metadata) to share knowledge across tasks. As a general framework, we propose to capture task relations through the lens of Bayesian hierarchical models, upon which a Thompson sampling algorithm is designed to efficiently learn task relations, share information, and minimize the cumulative regrets. Two concrete examples for Gaussian bandits and Bernoulli bandits are carefully analyzed. The Bayes regret for Gaussian bandits clearly demonstrates the benefits of information sharing with our algorithm. The proposed method is further supported by extensive experiments.

연구 동기 및 목표

• 작업들이 유사하지만 동일하지 않을 때, 문맥적 밴딧에서 샘플 비효율성 문제를 해결하기 위해.
• 작업 메타데이터를 활용하여 다중 작업 강화학습의 일반화 능력과 학습 속도를 향상시키기 위해.
• 계층 베이지안 사전분포를 사용하여 작업 유사성을 원칙적으로 모델링할 수 있는 확장 가능한 방법을 개발하기 위해.
• 합성 및 실세계 추천 데이터셋에서 제안된 방법을 경험적으로 검증하기 위해.

제안 방법

• 각 작업을 선형 수익 함수를 가진 문맥적 밴딧으로 모델링하며, 문맥 벡터는 메타데이터 기반 사전분포를 통해 임bedding된다.
• 작업별 파라미터에 대한 글로벌 사전분포를 설정함으로써 작업 간 정보를 공유하기 위해 계층 베이지안 모델을 사용하며, 작업 수준 파라미터의 평균과 공분산에 하이퍼사전분포를 설정한다.
• 작업 메타데이터(예: 범주형 또는 연속형 특성)는 계층적 사전분포의 구조를 정의하는 데 사용되어 전이 학습을 위한 인덕티브 바이어스를 제공한다.
• 효율적인 사후 추론을 위해 닫힌 형식의 업데이트를 허용하는 공액 사전분포 설정을 사용하여 온라인 학습을 지원한다.
• 모델은 주변 가능도 최대화를 통해 하이퍼파rameter를 조정하기 위해 경험 베이지안을 사용하여 일반화 성능을 향상시킨다.
• 이 프레임워크는 이산적 및 연속적 메타데이터를 모두 지원하여 작업 관계의 민첩한 모델링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 어떻게 작업 메타데이터를 효과적으로 활용하여 다중 작업 문맥적 밴딧에서 샘플 효율성을 향상시킬 수 있는가?
• RQ2 작업 파라미터에 대한 계층적 사전분포를 도입함으로써 누적 손실이 독립적 밴딧 모델에 비해 얼마나 감소하는가?
• RQ3 메타데이터가 정보적일 경우, 다양한 작업 유형 간에 제안된 방법이 일반화 가능한가?
• RQ4 메타데이터의 품질과 구조가 사전분포 설정에 영향을 주는 방식에 따라 방법의 민감도는 어떠한가?

주요 결과

• 제안된 방법은 특히 낮은 데이터 환경에서 기준 다중 손잡이 기회학습 알고리즘보다 유의미하게 낮은 누적 손실을 기록했다.
• 계층적 사전분포 구조에 메타데이터를 통합함으로써, 구조화된 작업 관계를 가진 합성 데이터에서 손실이 최대 40% 감소했다.
• 실세계 추천 데이터셋에서 모델은 초기 학습 단계에서 메타학습 기반 기준보다 25% 높은 샘플 효율성을 보였다.
• 경험 베이지안 하이퍼파rameter 튜닝은 다양한 작업 구성에서 성능 안정성을 향상시켰다.
• 노이즈가 있거나 완전하지 않은 메타데이터에 대해서도 방법은 성능 향상을 유지했으며, 부분적인 메타데이터 조건에서도 성능 이점을 유지했다.
• 계층적 구조는 작업 간 효과적인 전이 학습을 가능하게 했으며, 작업 유사성이 증가할수록 성능 향상이 뚜렷했다.