[論文レビュー] Matroid Bandits: Fast Combinatorial Optimization with Learning

Branislav Kveton, Zheng Wen+3 more|arXiv (Cornell University)|Mar 20, 2014

Advanced Bandit Algorithms Research参考文献 12被引用数 50

ひとこと要約

本稿では、確率的重み下でのマトロイドの最適基底を学習することを目的とした、組み合わせ的バンディットの新クラス「マトロイドバンディット」を紹介する。本稿は、計算的に効率的なグリーディーなアルゴリズムである「楽観的マトロイド最大化（OMM）」を提案し、ギャップ依存およびギャップフリーの境界を達成する部分線形のリグレットを実現する。特に、分割マトロイドにおいて境界のタイトネスを証明し、実世界のルーティング、ローン割り当て、映画推薦タスクにおいて実用性を示している。

ABSTRACT

A matroid is a notion of independence in combinatorial optimization which is closely related to computational efficiency. In particular, it is well known that the maximum of a constrained modular function can be found greedily if and only if the constraints are associated with a matroid. In this paper, we bring together the ideas of bandits and matroids, and propose a new class of combinatorial bandits, matroid bandits. The objective in these problems is to learn how to maximize a modular function on a matroid. This function is stochastic and initially unknown. We propose a practical algorithm for solving our problem, Optimistic Matroid Maximization (OMM); and prove two upper bounds, gap-dependent and gap-free, on its regret. Both bounds are sublinear in time and at most linear in all other quantities of interest. The gap-dependent upper bound is tight and we prove a matching lower bound on a partition matroid bandit. Finally, we evaluate our method on three real-world problems and show that it is practical.

研究の動機と目的

• マトロイド独立性によって定義された制約のもとで、大規模な問題における最適な組み合わせ的解の学習という課題に取り組むこと。
• マトロイド上での確率的モジュラー関数を最大化するための実用的で計算的に効率的な学習アルゴリズムを開発すること。
• 時間に対して部分線形で、かつ主要パラメータに対して線形となる理論的リグレット境界（ギャップ依存およびギャップフリー）を確立すること。
• ネットワークルーティング、マイクロファイナンスローンの割り当て、映画推薦といった実世界の問題に対して、手法の妥当性を検証すること。
• OMMがリグレットの観点で最適な性能を達成しており、実用的応用にスケーラブルであることを示すこと。

提案手法

• OMMは楽観的アプローチを用い、アイテムの重みに対して上側信頼区間を維持し、目的関数の楽観的推定値を最大化するアイテムをグリーディーに選択する。
• 各エピソードにおいて、OMMは楽観的重み推定値に基づいてアイテムをソートし、独立性を保つためにグリーディーなマトロイドアルゴリズムを適用して基底を選択する。
• アルゴリズムはアイテム重みの経験的平均推定値を維持し、不確実なアイテムの探索を促進するために信頼区間を適用する。
• リグレット解析は、特に拡張性の性質と基底集合の独立性に依存するマトロイドの構造的性質に基づく。
• 各エピソードあたりO(L log L)の時間計算量を達成し、ソーティングと同等の計算効率を保証する。
• OMMは半バンドイットとして設計されており、各エピソード後に選択されたすべてのアイテムの報酬を観測する。

実験結果

リサーチクエスチョン

• RQ1 重みが初期的に未知である状況において、学習アルゴリズムがマトロイド上での確率的モジュラー関数を効率的に最適化できるか。
• RQ2 この設定において、グリーディーで楽観的なアルゴリズムの理論的リグレット境界はどのように証明できるか。
• RQ3 OMMのリグレットと計算効率の観点で、既存のバンディットアルゴリズムと比較して性能に差は生じるか。
• RQ4 OMMは、マトロイドとしてモデル化された組み合わせ的制約を有する実世界の問題に実用的に応用可能か。
• RQ5 OMMのギャップ依存リグレット境界はタイトか？一致する下界を確立できるか。

主な発見

• OMMはギャップ依存リグレット境界としてO(L(1/Δ) log n)を達成し、これはタイトであり、分割マトロイド上で一致する下界と一致する。
• ギャップフリーのリグレット境界は時間に対して部分線形であり、LおよびKに対して最大で線形であり、リグレットにΩ(√L)の下界が存在することから、Lが大きい場合のスケーラビリティの限界が示唆される。
• 実験では、OMMはεグリーディポリシーを上回り、ルーティング、ローン割り当て、映画推薦タスクにおいて最適解に収束することが確認された。
• エピソード数が増加するにつれて、OMMの期待報酬は最適基底A*の報酬に近づくことが示され、効果的な学習が実現されていることが裏付けられた。
• OMMは各エピソードあたりO(L log L)の時間計算量を達成しており、大規模な問題に適した計算的効率性を有する。
• 本手法は、バンディット設定下でマトロイドの最大重み基底を学習するためのタイトなリグレット解析を初めて提供した。