[論文レビュー] Online Stochastic Linear Optimization under One-bit Feedback

Lijun Zhang, Tianbao Yang+2 more|arXiv (Cornell University)|Sep 25, 2015

Advanced Bandit Algorithms Research参考文献 38被引用数 32

ひとこと要約

本稿では、ロジットモデルとオンラインニュートンステップの変種を用いて、未知パラメータのタイトな信頼領域を維持することで、1ビットフィードバック下における確率的線形最適化のための効率的なオンライン学習アルゴリズムを提案する。この手法は、$ otimes ilde{O}(d\sqrt{T})$ のレグレットバウンドを達成し、確率的線形バンディットの最適レートと一致するが、実世界の応用において計算的に実用的である。

ABSTRACT

In this paper, we study a special bandit setting of online stochastic linear optimization, where only one-bit of information is revealed to the learner at each round. This problem has found many applications including online advertisement and online recommendation. We assume the binary feedback is a random variable generated from the logit model, and aim to minimize the regret defined by the unknown linear function. Although the existing method for generalized linear bandit can be applied to our problem, the high computational cost makes it impractical for real-world problems. To address this challenge, we develop an efficient online learning algorithm by exploiting particular structures of the observation model. Specifically, we adopt online Newton step to estimate the unknown parameter and derive a tight confidence region based on the exponential concavity of the logistic loss. Our analysis shows that the proposed algorithm achieves a regret bound of $O(d\sqrt{T})$, which matches the optimal result of stochastic linear bandits.

研究の動機と目的

• 既存の一般化線形バンディット手法が1ビットフィードバック設定において計算的に非効率であるという問題に対処すること。
• パラメータ推定にロジスティック損失の指数的凹性を活用する実用的なオンラインアルゴリズムの開発。
• ロジットモデル下で1ビットフィードバックを用いて、未知パラメータのタイトな信頼領域を構築すること。
• 確率的線形バンディットの最適$\widetilde{O}(d\sqrt{T})$ レートと一致するレグレットバウンドを達成すること。

提案手法

• 1ビットフィードバックから未知パラメーターベクトル$\mathbf{w}_*$を推定するために、オンラインニュートンステップの変種を採用する。
• ロジスティック損失関数の指数的凹性を用いて、$\mathbf{w}_*$の理論的に妥当な信頼領域を導出する。
• 不確実性に対する楽観的原則を適用し、信頼領域内での線形報酬を最大化する行動を選択する。
• 履歴的な行動に基づいて動的に更新される精度行列$Z_t$を維持して、信頼領域を適応的に更新する。
• 行列の逆行列計算および更新操作のコストを低減するための計算最適化を導入する。
• 線形レグレットと非線形レグレットがロジットモデル下で定数倍の違いしかなく、解析の簡略化が可能であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 1ビットフィードバック下における確率的線形最適化のための、既存の一般化線形バンディット手法の高い計算コストを回避する効率的オンラインアルゴリズムを設計できるか？
• RQ2 ロジスティック損失の指数的凹性をどのように活用して、1ビットフィードバック下での未知パラメータのタイトな信頼領域を構築できるか？
• RQ3 提案されたアルゴリズムは、確率的線形バンディットの最適$\widetilde{O}(d\sqrt{T})$ レートと一致するレグレットバウンドを達成するか？
• RQ4 1ビット観測に基づいてオンラインで信頼領域を維持・更新する際の計算的トレードオフは何か？
• RQ5 ロジットモデル下での非線形レグレットは、線形レグレットの定式化を用いて効果的にバウンドできるか？

主な発見

• 提案されたアルゴリズムは、$\widetilde{O}(d\sqrt{T})$ のレグレットバウンドを達成し、確率的線形バンディットの最適レートと一致する。
• ロジットモデル下での線形レグレットと非線形レグレットは定数倍の違いしかなく、より単純な線形レグレット解析の使用が可能である。
• 信頼領域は、オンラインニュートンステップの変種を用いて構築され、ロジスティック損失の指数的凹性から導かれる幅を有する。
• アルゴリズムは計算的に効率的であり、学習履歴をすべて保存する必要がないため、リアルタイム応用に適している。
• 理論的解析により、最適レグレットレートを維持しながらも、大規模なオンライン意思決定において実用的であることが確認された。
• 行列の更新および逆行列計算のコストを低減するための計算最適化が提供されており、スケーラビリティが向上している。