[論文レビュー] Adversarial Combinatorial Bandits with General Non-linear Reward Functions

Xi Chen, Yanjun Han+1 more|arXiv (Cornell University)|Jan 5, 2021

Advanced Bandit Algorithms Research参考文献 14被引用数 6

ひとこと要約

本稿は、一般の非線形報酬関数を伴う敵対的組み合わせバンディットにおけるミニマックス最適なレグレットを確立し、報酬関数が次数 $d < K$ の低次多項式である場合、レグレットが $\widetilde{\Theta}_d(\sqrt{N^dT})$ にスケーリングすることを示している。それ以外の場合は $\Theta_K(\sqrt{N^KT})$ である。結果は、線形関数と非線形関数の間で根本的なギャップを示しており、非線形関数では部分集合間の相関関係の活用が不可能であることを示唆している。

ABSTRACT

In this paper we study the adversarial combinatorial bandit with a known non-linear reward function, extending existing work on adversarial linear combinatorial bandit. {The adversarial combinatorial bandit with general non-linear reward is an important open problem in bandit literature, and it is still unclear whether there is a significant gap from the case of linear reward, stochastic bandit, or semi-bandit feedback.} We show that, with $N$ arms and subsets of $K$ arms being chosen at each of $T$ time periods, the minimax optimal regret is $\widetildeΘ_{d}(\sqrt{N^d T})$ if the reward function is a $d$-degree polynomial with $d&lt; K$, and $Θ_K(\sqrt{N^K T})$ if the reward function is not a low-degree polynomial. {Both bounds are significantly different from the bound $O(\sqrt{\mathrm{poly}(N,K)T})$ for the linear case, which suggests that there is a fundamental gap between the linear and non-linear reward structures.} Our result also finds applications to adversarial assortment optimization problem in online recommendation. We show that in the worst-case of adversarial assortment problem, the optimal algorithm must treat each individual $\binom{N}{K}$ assortment as independent.

研究の動機と目的

• 一般の非線形報酬関数を伴う敵対的組み合わせバンディットにおけるミニマックスレグレットを特定すること。これはバンディット文献における長年の未解決問題である。
• 非線形報酬関数が、線形または確率的設定と比較して、情報理論的複雑性を根本的に変えるかどうかを特定すること。
• 報酬関数の次数に依存するタイトなレグレット境界を確立すること。特に、低次多項式関数と高次または非多項式関数の間を明確に区別すること。
• これらの境界が、マルチノミアルロジットモデル下での敵対的アサortメント最適化などの実用的応用に与える影響を示すこと。

提案手法

• 著者らは、報酬ベクトルの敵対的分布を巧みに構築することで、ミニマックスレグレットの下界を導出している。対称性とテイラー展開の技術を用いて、報酬関数の臨界点まわりの挙動を分析している。
• 多変数テイラー展開と多重インデックス表記を用いて、集約されたアーム値に適用された報酬関数 $g$ の導関数を分析し、高階導関数が消える条件を同定している。
• 重要な技術的ステップとして、特定の線形制約を満たす非ゼロベクトル $\lambda$ が存在しないことを証明しており、これにより関数の曲率が非退化であることが示され、矛盾が生じる。
• 関数 $g$ が次数 $d < K$ の多項式である場合とそうでない場合を区別して分析しており、関数の構造に応じて下界の構築方法を異なるものとしている。
• 非多項式または高次多項式関数の場合、下界の構築では $K$ 個のアームの各部分集合を独立したものとして扱うため、部分集合間の相関関係は活用できない。
• 上界は、線形バンディット設定における既知のアルゴリズムへの還元により導出されており、非線形構造を補正する調整が施されているが、主な貢献はタイトな下界の確立にある。

実験結果

リサーチクエスチョン

• RQ1 非線形報酬関数を伴う敵対的組み合わせバンディットで、$\widetilde{O}(\sqrt{\mathrm{poly}(N,K)T})$ のレグレットを達成することは可能か？
• RQ2 報酬関数の構造、特にそれが低次多項式であるかどうかが、根本的なミニマックスレグレットに影響を与えるか？
• RQ3 報酬関数が非線形である場合、異なるアーム部分集合間の相関関係をアルゴリズムが活用できるか？
• RQ4 マルチノミアルロジットモデル下での敵対的アサortメント最適化におけるミニマックスレグレットは何か？
• RQ5 報酬関数が多項式でない、または次数 $\geq K$ である場合、レグレットはどのようにスケーリングするか？

主な発見

• 報酬関数 $g$ が $d < K$ の $d$ 次多項式である場合、ミニマックスレグレットは $\widetilde{\Theta}_d(\sqrt{N^dT})$ である。これは一般の場合と比較して顕著な改善を示している。
• $g$ が低次多項式でない場合、ミニマックスレグレットは $\Theta_K(\sqrt{N^KT})$ である。これは、部分集合間の構造的相関関係をいかなるアルゴリズムも活用できないことを示している。
• この結果は、線形関数と非線形関数の間で根本的なギャップを示しており、線形の場合の $\widetilde{O}(\sqrt{NT})$ は $K > 1$ の場合、$\widetilde{O}(\sqrt{N^KT})$ よりも厳密に優れている。
• 非多項式または高次 $g$ のための下界構築では、$\binom{N}{K}$ 個の可能な部分集合すべてを独立したものとして扱わなければならないため、相関関係の活用は情報理論的に不可能である。
• 結果は、マルチノミアルロジットモデル下での敵対的アサortメント最適化に直接適用可能であり、最悪ケースで最適レグレットは $\Theta_K(\sqrt{N^KT})$ である。
• 非ゼロベクトル $\lambda$ が導関数から導かれる線形方程式系を満たすと仮定すると矛盾が生じることを示しており、関数の曲率が改善可能なレグレットを許すような非退化状態にはなり得ないことが証明されている。