[논문 리뷰] Empirical Bayes Regret Minimization

Chih‐Wei Hsu, Branislav Kveton외 3명|arXiv (Cornell University)|2019. 04. 04.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 7

한 줄 요약

이 논문은 다수의 문제 인스턴스 샘플링 분포에서 평균 손실을 최소화함으로써 밴딧 알고리즘의 하이퍼파rameter를 튜닝하는 경험 베이즈 손실 최소화 방법을 제안한다. 새로운 샘플 효율적인 알고리즘인 NoTeS를 사용하여, 조정 가능한 파rameter에서 단일 최적화된 손실 행동을 활용함으로써, 다중 암반, 선형, 일반화된 선형 밴딧에서 최대 4배의 경험 베이즈 손실 감소를 달성한다.

ABSTRACT

Most bandit algorithm designs are purely theoretical. Therefore, they have strong regret guarantees, but also are often too conservative in practice. In this work, we pioneer the idea of algorithm design by minimizing the empirical Bayes regret, the average regret over problem instances sampled from a known distribution. We focus on a tractable instance of this problem, the confidence interval and posterior width tuning, and propose an efficient algorithm for solving it. The tuning algorithm is analyzed and evaluated in multi-armed, linear, and generalized linear bandits. We report several-fold reductions in Bayes regret for state-of-the-art bandit algorithms, simply by optimizing over a small sample from a distribution.

연구 동기 및 목표

• 이론적으로 최적일 수는 있지만 지나치게 보수적인 밴딧 알고리즘과 실제 성능 사이의 격차를 해소하기 위해.
• 최악의 경우 손실 최적화에 대한 실용적 대안을 제안하기 위해 문제 인스턴스의 분포에 따라 평균 손실을 최소화하는 방식으로.
• 신뢰구간 및 사후 분포 폭과 같은 핵심 하이퍼파rameter를 튜닝하기 위한 계산 효율적인 알고리즘을 설계하기 위해.
• 선형 및 일반화된 선형 밴딧을 포함한 구조화된 밴딧 설정에서 이 방법의 경험적 검증을 수행하기 위해.
• 경험 베이즈 손실 최소화가 문제 인스턴스 분포에 강한 가정 없이도 상당한 성능 향상을 이끌어낼 수 있음을 입증하기 위해.

제안 방법

• 밴딧 알고리즘 튜닝을 경험 베이즈 손실 최소화 문제로 재정의하며, 이는 알려진 분포에서 샘플링된 문제 인스턴스의 유한 집합에 대해 평균 손실을 최소화하는 것을 목표로 한다.
• 이 방법은 신뢰구간 폭과 UCB 및 톰슨 샘플링 알고리즘에서의 사후 분포 폭과 같은 두 가지 해석 가능한 튜닝 문제에 집중한다.
• 제안된 NoTeS 알고리즘은 조정 가능한 파rameter에서 손실이 단일 최적화된 행동을 보이는 것을 활용하여, 도함수를 사용하지 않고도 반복적 탐색을 통해 근사 최적 설정을 효율적으로 찾는다.
• NoTeS는 고정된 예산 설정을 사용하며, 샘플링된 문제 인스턴스에서의 손실 평가 기반으로 선형 탐색 전략을 적용하여 샘플 및 계산 효율성을 보장한다.
• 고정된 예산 설정에서 이론적으로 분석되어 단일 최적화 조건 하에서 수렴 보장을 확립한다.
• 경험적 평가는 알려진 분포에서 문제 인스턴스를 샘플링하고, NoTeS를 사용한 튜닝 전후의 경험 베이즈 손실을 측정함으로써 수행된다.

실험 결과

연구 질문

• RQ1 경험 베이즈 손실 최소화를 통해 밴딧 알고리즘 하이퍼파rameter를 튜닝하면 다양한 밴딧 설정에서 평균 손실이 크게 감소하는가?
• RQ2 튜닝된 밴딧 알고리즘의 손실이 조정 가능한 파rameter에 대해 단일 최적화 행동을 보이며 효율적인 최적화가 가능한가?
• RQ3 NoTeS 알고리즘의 성능은 순차적 반으로 나누는 것과 같은 기존 튜닝 기준 대비 손실 감소 및 샘플 효율성 측면에서 어떻게 비교되는가?
• RQ4 경험 베이즈 손실 최소화는 선형 및 일반화된 선형 밴딧에서 LinUCB와 LinTS와 같은 최첨단 밴딧 알고리즘의 성능을 어느 정도 향상시킬 수 있는가?
• RQ5 문제 인스턴스 분포에서 제한된 샘플만으로도 이 방법을 효과적으로 적용할 수 있으며, 강한 사전 가정 없이도 가능한가?

주요 결과

• NoTeS 알고리즘을 사용한 LinUCB와 LinTS의 튜닝은 단지 50개의 샘플 문제 인스턴스만으로도 기존 튜닝되지 않은 기준 대비 경험 베이즈 손실을 최대 4배까지 감소시켰다.
• 튜닝된 알고리즘의 경험 베이즈 손실은 1000개의 샘플 문제 인스턴스 예산에서 이론적 최소값에 가까워졌으며, 이는 강력한 수렴성과 효과성을 시사한다.
• 모든 테스트 설정에서 손실 경관이 일관되게 단일 최적화 행동을 보였으며, 이는 NoTeS 알고리즘이 최적 하이퍼파ram터를 효율적으로 찾을 수 있도록 하는 핵심 가정을 검증한다.
• NoTeS 알고리즘은 최소한의 계산 오버헤드로 상당한 손실 감소를 달성했으며, 순차적 반으로 나누는 것과 같은 기존 튜닝 방법보다 손실 감소 및 샘플 효율성 측면에서 뛰어난 성능을 보였다.
• 경험 베이즈 손실 최소화는 다중 암반, 선형, 일반화된 선형 밴딧 모두에서 측정 가능한 성능 향상을 이끌어내어 광범위한 적용 가능성을 입증했다.
• 조정 가능한 파rameter에서 손실의 매끄러움을 고려할 때, 경험 베이즈 손실의 기울기 기반 최적화가 가능할 수 있음을 시사하며, 향후 튜닝 방법에 새로운 길을 열어준다.