[論文レビュー] Multinomial Logit Bandit with Low Switching Cost

Kefan Dong, Yingkai Li+2 more|arXiv (Cornell University)|Jul 9, 2020

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿は、低スイッチングコストを実現しつつ近似的に最適なレグレットを達成する、マルチノミアルロジットバンディット問題に対するAT-DUCBおよびFH-DUCBアルゴリズムを提案する。タイトな境界を確立した：AT-DUCBは$O(N\log T)$のアソートメントスイッチを発生させ、$\Omega(N\log T / \log\log T)$の下界にほぼ一致する。FH-DUCBは固定ホライズン設定において$O(N\log\log T)$のスイッチを達成し、漸近的下界と一致する。

ABSTRACT

We study multinomial logit bandit with limited adaptivity, where the algorithms change their exploration actions as infrequently as possible when achieving almost optimal minimax regret. We propose two measures of adaptivity: the assortment switching cost and the more fine-grained item switching cost. We present an anytime algorithm (AT-DUCB) with $O(N \log T)$ assortment switches, almost matching the lower bound $Ω(\frac{N \log T}{ \log \log T})$. In the fixed-horizon setting, our algorithm FH-DUCB incurs $O(N \log \log T)$ assortment switches, matching the asymptotic lower bound. We also present the ESUCB algorithm with item switching cost $O(N \log^2 T)$.

研究の動機と目的

• 近似的に最適なレグレットを維持しつつ、マルチノミアルロジットバンディット問題におけるアソートメントおよびアイテムスイッチングコストを最小化すること。
• 小売やオンライン広告において頻繁なアソートメント変更が高コストであるという実用的制約に対処すること。
• 理論的に低スイッチングコストを保証する、いつでも適用可能な（anytime）および固定ホライズン用のアルゴリズムを開発すること。
• 近似的に最適なレグレットを達成する任意のアルゴリズムに対して、アソートメントスイッチングコストの理論的下界を確立すること。
• 2つの指標（アソートメントスイッチングコストとアイテムスイッチングコスト）を用いて、レグレットとスイッチングコストのトレードオフを分析すること。

提案手法

• UCBに基づく探索と延期更新を用いる、 anytime アルゴリズムであるAT-DUCBを提案し、アソートメントスイッチを$O(N\\log T)$にまで低減する。
• 固定ホライズン設定を想定したFH-DUCBを導入し、時間ホライズンの知識を活用することで、$O(N\log\log T)$のアソートメントスイッチを達成する。
• ESUCBを設計し、アイテムスイッチングコストを$O(N\log^2 T)$に抑えるが、Checkサブルーチン内のカウンタの再初期化を回避することで、$O(N\log T)$に改善した。
• UCB計算における延期更新メカニズムを用い、値の更新回数を制限することでスイッチングイベントを削減する。
• 濃度不等式と高確率事象の解析を用い、不確実性下でのレグレットとスイッチングコストのバウンドを求める。
• アイテムスイッチングコストを定義するために、対称差演算子$|S_t \oplus S_{t+1}|$を用い、変更の細かすぎる制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 マルチノミアルロジットバンディット設定において、近似的に最適なレグレットを達成する任意のアルゴリズムが要請する最小のアソートメントスイッチ回数は何か？
• RQ2 時間ホライズンを事前に知らない状況でも、低レグレットと低アソートメントスイッチングコストを両立できるanytimeアルゴリズムは存在するか？
• RQ3 理論的バウンドとアルゴリズム設計の観点から、アイテムスイッチングコストはアソートメントスイッチングコストと比べてどの程度異なるか？
• RQ4 固定ホライズン設定は、anytime設定よりもタイトなスイッチングコストバウンドを達成できるか？
• RQ5 既存のUCBスタイルのアルゴリズムに対して、どのような修正を加えることでアイテムスイッチングコストを低減しつつ、レグレット保証を維持できるか？

主な発見

• AT-DUCBは、近似的に最適なレグレットを維持しながら$O(N\log T)$のアソートメントスイッチを達成し、$\Omega(N\log T / \log\log T)$の下界にほぼ一致する。
• FH-DUCBは固定ホライズン設定において$O(N\log\log T)$のアソートメントスイッチを達成し、漸近的下界と一致する。
• カウンタの再初期化を回避することで、ESUCBの改良版はアイテムスイッチングコストを$O(N\log^2 T)$から$O(N\log T)$に低減した。
• 近似的に最適なレグレットを達成する任意のanytimeアルゴリズムに対して、アソートメントスイッチングコストの下界$\Omega(N\log T / \log\log T)$を証明した。
• アイテムスイッチングコストは、常にアソートメントスイッチングコスト以上であり、最大で$\min\{2K,N\}$倍まで大きくなることが示され、両者の間にはタイトな関係が確立された。