[論文レビュー] Polymatroid Bandits

Branislav Kveton, Zheng Wen+3 more|arXiv (Cornell University)|May 30, 2014

Advanced Bandit Algorithms Research参考文献 5被引用数 2

ひとこと要約

本稿では、計算的に効率的なアルゴリズムを用いて多面体的制約の下でモodular関数を最大化するための新しい学習フレームワーク、polymatroid bandits を導入する。この手法は、ギャップ依存およびギャップフリーの両設定において、既知の下界と一致する最適なレグレットバウンドを達成しており、映画推薦タスクにおける実験で、多様で人気のある映画を学習的に推薦できることを示している。

ABSTRACT

A polymatroid is a polytope which is closely related to computational efficiency in polyhedral optimization. In particular, it is well known that the maximum of a modular function on a polymatroid can be found greedily. In this work, we bring together the ideas of polymatroids and bandits, and propose a learning variant of maximizing a modular function on a polymatroid, polymatroid bandits. We also propose a computationally efficient algorithm for solving the problem and bound its expected cumulative regret. Our gap-dependent upper bound matches a lower bound in matroid bandits and our gap-free upper bound matches a minimax lower bound in adversarial combinatorial bandits, up to logarithmic factors. Finally, we evaluate our algorithm on a movie recommendation problem and show that it can learn how to recommend a set of diverse and popular movies. 1

研究の動機と目的

• バンドイットアルゴリズムを多面体的制約に拡張する学習フレームワークの開発を目的とし、組み合わせ的構造の下での効率的な探索を可能にする。
• 多面体のグリーディ最適化特性を活用する計算的に効率的なアルゴリズムを設計し、オンライン意思決定に応用する。
• 既知の下界と一致する理論的レグレットバウンドを確立する。組み合わせ的バンドイットにおいて、対数因子を除いて。
• 実世界の推薦タスクにおいて手法を評価し、多様で人気のあるアイテム集合を学習できることを示す。

提案手法

• 多面体の構造的性質に着目し、モodular関数のグリーディ最大化が可能であることに基づき、これをオンライン学習設定に適応する。
• アイテム報酬の推定値を維持・更新しながら多面体的制約を満たすバンドイットアルゴリズムを提案する。
• 多面体のランク関数に従う探索戦略を用いることで、活用と探索のバランスを計算的に効率的に実現する。
• ギャップ依存およびギャップフリーのレグレット解析を用いて理論的性能バウンドを導出する。
• マトロイドおよび敵対的組み合わせ的バンドイットにおける既知の下界と一致する期待累積レグレットの上界を導出する。
• アイテムの多様性と人気度を多面体的制約としてモデル化することで、映画推薦問題にアルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習設定において、多面体的制約の下でモodular関数を効率的に最適化できるバンドイットアルゴリズムを設計できるか？
• RQ2 そのようなアルゴリズムの理論的レグレット性能は何か？ また、既知の下界と比較してどうなるか？
• RQ3 提案されたアルゴリズムは、実世界の推薦タスクにおいて、多様で人気のあるアイテムを学習的に推薦できるか？
• RQ4 アルゴリズムはギャップ依存およびギャップフリーの両設定において最適なレグレットスケーリングを達成するか？

主な発見

• 提案されたアルゴリズムは、マトロイドバンドイットにおける既知の下界と一致するギャップ依存のレグレットバウンドを達成しており、対数因子を除いて。
• ギャップフリーのレグレットバウンドは、敵対的組み合わせ的バンドイットにおけるミニマックス下界と一致しており、再び対数因子を除いて。
• 多面体のグリーディ最大化の利用により、計算的に効率的であることが保証されており、これは既に実行可能であると知られている。
• 映画推薦タスクにおける実験的評価から、アルゴリズムが多様で人気のある映画の集合を効果的に学習できていることが示された。
• 理論的保証はタイトであり、バンドイット文献における標準的仮定の下で、レグレットバウンドは漸近的に最適である。
• フレームワークはマトロイドを越えてより広範な多面体的制約へ一般化可能であり、オンライン学習におけるより豊かな組み合わせ的最適化を可能にする。