[論文レビュー] Bernoulli Rank-$1$ Bandits for Click Feedback

Sumeet Katariya, Branislav Kveton+3 more|arXiv (Cornell University)|Mar 19, 2017

Advanced Bandit Algorithms Research参考文献 3被引用数 6

ひとこと要約

本稿では、ベルヌーイ分布に従うランク1バンディット問題に対する、より優れた排除ベースのアルゴリズムであるRank1ElimKLを提案する。この手法は、Rank1Elimが用いるサブガウス型の信頼区間を、よりタイトなカルバック・ライブラー（KL）ダイバージェンスに基づく信頼区間へ置き換える。主な貢献は、最小平均報酬μが0に近づくような極端な状況下でも、ランク1構造を活用することで、あらゆる問題インスタンス（良性および困難な場合を含む）において最適なレグレットスケーリングを達成することである。

ABSTRACT

The probability that a user will click a search result depends both on its relevance and its position on the results page. The position based model explains this behavior by ascribing to every item an attraction probability, and to every position an examination probability. To be clicked, a result must be both attractive and examined. The probabilities of an item-position pair being clicked thus form the entries of a rank-$1$ matrix. We propose the learning problem of a Bernoulli rank-$1$ bandit where at each step, the learning agent chooses a pair of row and column arms, and receives the product of their Bernoulli-distributed values as a reward. This is a special case of the stochastic rank-$1$ bandit problem considered in recent work that proposed an elimination based algorithm Rank1Elim, and showed that Rank1Elim's regret scales linearly with the number of rows and columns on "benign" instances. These are the instances where the minimum of the average row and column rewards $μ$ is bounded away from zero. The issue with Rank1Elim is that it fails to be competitive with straightforward bandit strategies as $μ ightarrow 0$. In this paper we propose Rank1ElimKL which simply replaces the (crude) confidence intervals of Rank1Elim with confidence intervals based on Kullback-Leibler (KL) divergences, and with the help of a novel result concerning the scaling of KL divergences we prove that with this change, our algorithm will be competitive no matter the value of $μ$. Experiments with synthetic data confirm that on benign instances the performance of Rank1ElimKL is significantly better than that of even Rank1Elim, while experiments with models derived from real data confirm that the improvements are significant across the board, regardless of whether the data is benign or not.

研究の動機と目的

• 最小平均報酬μが0に近づく際、Rank1Elimがレグレットスケーリングに著しく劣化することを是正すること。
• μが0から離れている良性のランク1インスタンスにおいても高い性能を維持するとともに、困難なインスタンスに対しても競争力を持つアルゴリズムの開発。
• クリックフィードバックにおけるポジションベースモデル（PBM）の構造を活用し、吸引力と検閲効果によりクリック確率がランク1行列を形成することを踏まえる。
• 理論的および実験的証拠を提示し、極端なパrameter設定下でも、サブガウス型信頼区間と比較してKLベースの信頼区間が、より良いレグレットバウンドと実用的性能を実現することを示す。

提案手法

• Rank1Elimが用いるUCB1風のサブガウス型信頼区間を、KLダイバージェンスに基づく信頼区間に置き換えることで、推定の精度を向上させる。
• KLダイバージェンスのスケーリング性質を活用し、真の報酬分布に適応するよりタイトな信頼区間を導出する。特にμが小さい領域で有効である。
• 新たなKLベースの信頼区間を基に、非最適な行・列アームを段階的に排除する排除ベースの戦略を適用する。
• ベルヌーイ分布におけるKLダイバージェンスのスケーリングに関する新しい理論的結果を導入し、改善されたレグレットバウンドの証明を行う。
• 期待報酬が最適値未満のすべてのアームが高確率で排除されるよう、停止ルールを導入する。
• 最大尤度推定を用いて行および列の平均を推定し、KLベースの信頼区間を用いてアーム選択と排除を制御する。

実験結果

リサーチクエスチョン

• RQ1 KLダイバージェンスに基づく信頼区間は、元のアルゴリズムが失敗するμが小さい領域において、Rank1Elimのレグレット性能を向上させることができるか？
• RQ2 提案されたアルゴリズムRank1ElimKLは、μが0から離れている良性インスタンスにおいても高い性能を維持するとともに、困難なインスタンスに対してもロバストであるか？
• RQ3 Rank1ElimKLの理論的レグレットバウンドは何か？ また、Δ（最小ギャップ）およびμに関して、Rank1Elimと比較してどのようにスケーリングされるか？
• RQ4 合成的および実世界のクリックモデルにおいて、Rank1ElimKLの性能は、Rank1Elimおよび標準的なバンディットベースライン（例：UCB1）と比較してどのように異なるか？
• RQ5 ランク1構造が弱いか、存在しない状況でも、クリックフィードバックデータのランク1構造を効果的に活用できるか？

主な発見

• Rank1ElimKLは「はりのなかの針」問題において、O(K² log n)のレグレットバウンドを達成し、Rank1ElimのO(K³ log n)に比べ顕著に改善された。
• 良性インスタンスでは、Rank1ElimでさえもRank1ElimKLに劣り、よりタイトなKLベースの信頼区間が収束を早め、レグレットを低減することを示した。
• Yandexデータセットからの実世界のクリックモデルにおいて、Rank1ElimKLはすべてのクエリにおいて、Rank1ElimおよびUCB1を一貫して上回った。特にμが小さいクエリでも同様の結果を示した。
• Rank1Elimが失敗する困難なインスタンスにおいても、Rank1ElimKLは強固な性能を維持しており、ランク1構造が利用可能でない場合でもロバストであることが示された。
• 実験結果から、KLベースの信頼区間による理論的改善が、極端なパrameter設定下で実用的利得に直結することが確認された。
• Rank1ElimKLのレグレットは1/Δに関して最適にスケーリングされ、既知の下界と一致しており、μに関する依存性もRank1Elimより改善されている。