[논문 리뷰] Multi-Objective Generalized Linear Bandits

Shiyin Lu, Guanghui Wang외 2명|arXiv (Cornell University)|2019. 05. 30.

Advanced Bandit Algorithms Research참고 문헌 17인용 수 5

한 줄 요약

이 논문은 보상이 다차원이고 일반화 선형 모델을 따르는 맥락 기반 밴디트 프레임워크인 다목적 일반화 선형 밴디트(Multi-Objective Generalized Linear Bandits, MOGLB)를 소개한다. MOGLB-UCB를 제안하며, 파rameter 추정에 온라인 뉴턴 스텝을 사용하고, UCB 기반 탐색을 통해 파레토 최적 해의 근사치를 구성하여 $\tilde{O}(d\sqrt{T})$의 파레토 리그레트 한계를 달성하며, 최적의 단일 목표 밴디트 결과와 일치한다.

ABSTRACT

In this paper, we study the multi-objective bandits (MOB) problem, where a learner repeatedly selects one arm to play and then receives a reward vector consisting of multiple objectives. MOB has found many real-world applications as varied as online recommendation and network routing. On the other hand, these applications typically contain contextual information that can guide the learning process which, however, is ignored by most of existing work. To utilize this information, we associate each arm with a context vector and assume the reward follows the generalized linear model (GLM). We adopt the notion of Pareto regret to evaluate the learner's performance and develop a novel algorithm for minimizing it. The essential idea is to apply a variant of the online Newton step to estimate model parameters, based on which we utilize the upper confidence bound (UCB) policy to construct an approximation of the Pareto front, and then uniformly at random choose one arm from the approximate Pareto front. Theoretical analysis shows that the proposed algorithm achieves an $ ilde O(d\sqrt{T})$ Pareto regret, where $T$ is the time horizon and $d$ is the dimension of contexts, which matches the optimal result for single objective contextual bandits problem. Numerical experiments demonstrate the effectiveness of our method.

연구 동기 및 목표

• 기존 다목적 밴디트 알고리즘에서 맥락 정보 활용의 부족을 해결하기 위해.
• 맥락 벡터를 사용하여 다목적 보상 모델을 일반화 선형 모델로 모델링하는 프레임워크를 개발하기 위해.
• 파레토 최적 해의 암묵적 손실을 최소화하면서도 파레토 최적 해의 암묵적 손실을 최소화하기 위해.
• 최적의 단일 목표 맥락 기반 밴디트 결과와 동일한 리그레트 한계를 달성하기 위해.
• 실제 응용 분야인 추천 및 네트워크 라우팅에 이론적으로 타당하고 실용적으로 효과적인 알고리즘을 제공하기 위해.

제안 방법

• 각 암묵적 손실의 보상 벡터를 $m$개의 목표와 맥락 벡터 $x \in \mathbb{R}^d$를 사용한 일반화 선형 모델로 모델링한다.
• 모수화된 실현 가능성 가정: $\mathbb{E}[y^i|x] = \mu_i(\theta_i^\top x)$이며, 미지의 계수 $\theta_i$와 링크 함수 $\mu_i$를 가진다.
• 시간에 따라 모델 파rameter $\theta_i$를 추정하기 위해 온라인 뉴턴 스텝의 변종을 사용한다.
• 기대 보상에 대한 신뢰 구간을 기반으로 상한 신뢰도(Upper Confidence Bound, UCB) 정책을 적용하여 파레토 최적 해의 근사치를 구성한다.
• 공정성을 확보하기 위해 근사 파레토 최적 해에서 암묵적 손실을 균일하게 무작위로 선택한다.
• 수치적 안정성을 확보하기 위해 신뢰 집합의 너비 $\gamma_t = c \log{\frac{\det(Z_t)}{\det(Z_1)}}$와 정규화 $\lambda = \max(1, \kappa/2)$를 사용한다.

실험 결과

연구 질문

• RQ1 일반화 선형 보상 모델 하에서 다목적 맥락 기반 밴디트 알고리즘이 하위선형 파레토 리그레트를 달성할 수 있는가?
• RQ2 리그레트를 최소화하면서도 파레토 최적 해의 암묵적 손실 간의 공정성을 유지할 수 있는가?
• RQ3 제안된 알고리즘이 단일 목표 맥락 기반 밴디트의 최적 리그레트 한계를 충족하는가?
• RQ4 기존의 MOB 및 MOCB 기준선과 비교해 리그레트와 파레토 최적 해 정확도 측면에서 알고리즘의 성능은 어떠한가?
• RQ5 알고리즘이 맥락 정보를 효과적으로 활용하여 학습 효율을 향상시킬 수 있는가?

주요 결과

• 제안된 MOGLB-UCB 알고리즘은 $\tilde{O}(d\sqrt{T})$의 파레토 리그레트 한계를 달성하며, 이는 단일 목표 맥락 기반 밴디트의 최적 한계와 일치한다.
• 수치 실험 결과, 모든 설정에서 S-UCB 및 P-TS에 비해 MOGLB-UCB가 누적 파레토 리그레트 측면에서 뚜렷이 뛰어나게 성능을 발휘한다.
• 1500회 이후의 자카르 지수 상승을 통해 MOGLB-UCB가 P-UCB 및 P-TS보다 진정한 파레토 최적 해에 더 빨리 수렴하는 것으로 나타났다.
• MOGLB-UCB가 구성한 근사 파레토 최적 해는 진정한 파레토 최적 해에 매우 가까워, 최적 해 추정의 높은 정확도를 보였다.
• MOGLB-UCB는 근사 파레토 최적 해에서 균일하게 샘플링함으로써 공정성을 유지하여, 특정 파레토 최적 해가 유리하게 평가되지 않도록 했다.
• 특히 $\lambda$와 $\gamma_t$에 대한 하이퍼파rameter 선택에 대해 성능에 민감하지 않아, 알고리즘이 강건함을 입증했다.