[論文レビュー] A Note on a Tight Lower Bound for MNL-Bandit Assortment Selection Models

Xi Chen, Yining Wang|arXiv (Cornell University)|Sep 18, 2017

Advanced Bandit Algorithms Research被引用数 14

ひとこと要約

本稿は、容量制約付きMNLバンドイットアサortメント選択におけるレグレットの情報理論的下界をタイトに確立し、任意の方策が対数要因を除いて少なくとも Ω(√(NT)) のレグレットを被る必要があることを証明する。この結果により、先行研究の上界と下界の間の O(√K) のギャップが解消され、KLダイバージェンス計算における精密な近隣集合解析を導入することで、すべてのパrameter N, T, K に対して既存の上界と一致する。

ABSTRACT

In this short note we consider a dynamic assortment planning problem under the capacitated multinomial logit (MNL) bandit model. We prove a tight lower bound on the accumulated regret that matches existing regret upper bounds for all parameters (time horizon $T$, number of items $N$ and maximum assortment capacity $K$) up to logarithmic factors. Our results close an $O(\sqrt{K})$ gap between upper and lower regret bounds from existing works.

研究の動機と目的

• 容量制約付きMNLバンドイットアサortメント選択における、既存の上界と下界の間の O(√K) のギャップを閉じること。
• 既知の上界と対数要因を除いて一致するタイトな情報理論的下界をレグレットに対して確立すること。
• 容量制約付きの多項ロジスティック選択モデルにおける動的アサortメント計画の根本的限界を分析すること。
• 標準的なKLダイバージェンスの議論を、空集合ではなくサイズ K−1 の近隣部分集合を考慮することで精緻化し、下界を O(√(1/K)) 要因改善すること。

提案手法

• N 個のアイテム、収益パラメータ r_i = 1、および選好パラメータ v_i ∈ {1/K, (1+ε)/K} を持つ悪意のある問題例を構築する。
• 各サイズ K の部分集合 S ⊆ [N] に対して、v_i = (1+ε)/K（i ∈ S の場合）、それ以外は v_i = 1/K となるパラメータ付き分布 P_S を定義する。
• S' ∈ S_{K-1} に対して、分布 P_S' と P_S'∪{i} を比較する近隣的議論を用い、S_t の条件下でのKLダイバージェンスに注目する。
• Lemma 3 を用いて、条件付き分布間のKLダイバージェンスを評価し、確率の差異とKLダイバージェンスの対数不等式の関係を活用する。
• ホルダーの不等式およびジェンセンの不等式を適用し、期待選択回数と全体のレグレット下界を関連付ける。
• √(NT) 項と T 項のトレードオフを調整するため、ε = min{0.05√(N/T), 0.5} と設定し、タイトな Ω(min{√(NT), T}) のレグレット下界を導出する。

実験結果

リサーチクエスチョン

• RQ1 容量制約付きMNLバンドイットアサortメント選択におけるレグレットの根本的限界は何か？ また、N, T, K に対してどのようにスケーリングされるか？
• RQ2 情報理論的手法を用いて、既存の上界と下界の間の O(√K) のギャップを解消できるか？
• RQ3 サイズ K−1 の近隣部分集合を用いることで、空集合を用いる場合に比べてKLダイバージェンス解析における下界はどのように改善されるか？
• RQ4 K ≤ N/4 の場合に、下界 Ω(√(NT)) は成立するか？ また、K が大きい場合にはどのような挙動を示すか？
• RQ5 レグレット下界は対数要因を除いてタイトか？ そして、最高の既存上界と一致するか？

主な発見

• 本稿は、K ≤ N/4 の場合に、容量制約付きMNLバンドイットモデルにおける任意の方策に対して、タイトなレグレット下界 Ω(min{√(NT), T}) を証明する。
• この下界は、T, K, N の対数要因を除いて、既存の上界 O(√(NT) log TK) と一致する。
• 先行の下界に対する改善は、KLダイバージェンス解析においてサイズ K−1 の近隣部分集合を用いたことに起因し、O(√(1/K)) 要因の改善が達成された。
• 下界は log T までタイトであり、上界と下界の間の対数ギャップのみが残る。
• T = Ω(N) の場合に √(NT) がレグレットの正しいスケーリングであることが確認され、これは動的アサortメント計画の一般的な設定である。
• 解析により、現在の証明技法において容量制約 K ≤ N/4 が本質的であることが示されたが、著者らは K/N → γ < 1/2 の場合にも同様の下界が成立すると予想している。