[논문 리뷰] Hyper-parameter Tuning for the Contextual Bandit

Djallel Bouneffouf, Emmanuelle Claeys|arXiv (Cornell University)|2020. 05. 04.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 5

한 줄 요약

이 논문은 메타-밴딧 접근법을 사용하여 맥락적 밴딧에서 최적의 탐색 파라미터($\alpha$)를 동적으로 학습하는 OPLINUCB와 DOPLINUCB 두 가지 알고리즘을 제안한다. 탐색 조정을 맥락적 밴딧 문제로 간주함으로써, 이 방법들은 맥락과 즉각적인 보상에 기반해 $\alpha$를 적응적으로 조정하며, 정적 $\alpha$ 설정보다 우수한 성능을 보이며, 특히 비정적 환경에서 두드러진다. 이는 다중 암드 밴딧에서 자동 하이퍼파ram터 튜닝으로 나아가는 첫걸음임을 보여준다.

ABSTRACT

We study here the problem of learning the exploration exploitation trade-off in the contextual bandit problem with linear reward function setting. In the traditional algorithms that solve the contextual bandit problem, the exploration is a parameter that is tuned by the user. However, our proposed algorithm learn to choose the right exploration parameters in an online manner based on the observed context, and the immediate reward received for the chosen action. We have presented here two algorithms that uses a bandit to find the optimal exploration of the contextual bandit algorithm, which we hope is the first step toward the automation of the multi-armed bandit algorithm.

연구 동기 및 목표

• LINUCB에서 탐색 파라미터 $\alpha$를 수동으로 튜닝하는 문제에 대응하며, 이는 핵심이지만 사전에 설정하기 어려운 요소이다.
• 맥락과 보상 피드백에 기반해 실시간으로 최적의 $\alpha$를 학습하는 적응형 알고리즘을 개발한다.
• 기존 맥락적 밴딧 학습을 확장하여 탐색-이득 균형을 계층적 밴딧 문제로 모델링함으로써 자동화된 탐색-이득 균형 조정을 실현한다.
• 제안된 알고리즘의 안정성과 적응 능력을 평가하기 위해 정적 및 비정적 환경에서 평가한다.
• 동적 탐색 튜닝이 고정된 $\alpha$ 또는 최적의 고정 $\alpha$ 기반 베이스라인보다 더 낮은 누적 누적 위험을 초래함을 입증한다.

제안 방법

• OPLINUCB는 현재 맥락에 기반해 이산 집합 $[0.01, 1]$ 에서 $\alpha$ 를 선택하기 위해 맥락적 밴딧(CTree)을 사용한다. 단위 간격은 0.01이다.
• DOPLINUCB는 이중 수준의 밴딧 구조를 도입한다: 첫 번째 수준은 CTree를 통해 $\alpha$ 를 선택하고, 두 번째 수준은 선택된 $\alpha$ 를 사용해 LINUCB를 적용하여 행동을 선택한다.
• CTree 알고리즘은 맥락과 최적의 $\alpha$ 사이의 관계를 모델링하며, 탐색 조정을 위한 정책을 학습한다.
• LINUCB는 상위 신뢰도 기반(UCB) 탐색을 사용하는 기본 알고리즘으로, $\alpha$ 는 탐색 보너스를 제어한다: $p_{t,a} = \hat{\mu}_a^T x_t + \alpha \sqrt{x_t^T A_a^{-1} x_t}$.
• 온라인 리지 회귀는 각 행동 이후 $x_{t,a}$ 와 관측된 보상 $r_t$ 를 사용해 가중치 추정치 $\hat{\mu}_a$ 와 공분산 행렬 $A_a$ 를 업데이트한다.
• 알고리즘은 누적 위험을 주요 메트릭으로 사용해 실세계 데이터셋(예: Adult)에서 훈련되고 평가되며, 이는 이진 보상에 기반한다.

실험 결과

연구 질문

• RQ1 메타-밴딧 접근법을 통해 수동 튜닝 없이 맥락적 밴딧에서 최적의 탐색 파라미터($\alpha$)를 학습할 수 있는가?
• RQ2 맥락 기반 동적 $\alpha$ 선택이 정적 $\alpha$ 대비 정적 환경에서 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법은 보상 함수가 시간이 지남에 따라 변화하는 비정적 환경에 적응할 수 있는가?
• RQ4 맥락-$\alpha$ 의 종속성 학습이 최적의 고정 $\alpha$ 선택보다 더 낮은 누적 위험을 초래하는가?
• RQ5 온라인 및 맥락 인식 하이퍼파ram터 튜닝을 통해 LINUCB에서 탐색-이득 균형을 자동화하는 것이 가능한가?

주요 결과

• 정적 환경에서는 OPLINUCB가 모든 고정 $\alpha$ 값의 중앙값과 평균을 일관되게 능가하지만, 최고의 개별 $\alpha$ 는 능가하지 못한다.
• 100, 1,000, 10,000 반복 주기에서 보상이 변화하는 비정적 환경에서 DOPLINUCB는 최고의 고정 $\alpha$ 보다 낮은 누적 위험을 기록하며, 1,000회 전환 시 평균 위험은 13,569이며, 최고의 고정 $\alpha$ 기준 최소값 15,331보다 낮다.
• 1,000회 전환 시나리오에서 DOPLINUCB는 최고의 고정 $\alpha$ 대비 평균 누적 위험을 약 12% 감소시켰다.
• OPLINUCB는 훈련 세트 크기(0에서 10,000까지)에 관계없이 뛰어난 성능을 보이며, 평균 위험가능성이 고정 $\alpha$ 값의 중앙값과 평균 이하로 일관되게 유지된다.
• 결과는 비정적 환경에서 맥락 기반 탐색 정책을 학습하는 것이 유익하다는 것을 확인하며, 정적 $\alpha$ 설정은 적응하지 못함을 시사한다.
• 제안된 알고리즘은 맥락적 밴딧에서 하이퍼파ram터 튜닝을 자동화하는 것이 가능하고 효과적임을 입증하며, 특히 보상 역학이 시간이 지남에 따라 변화하는 경우에 특히 그렇다.