[論文レビュー] Online Submodular Maximization under a Matroid Constraint with Application to Learning Assignments

Daniel Golovin, Andreas Krause+1 more|arXiv (Cornell University)|Jul 3, 2014

Advanced Bandit Algorithms Research参考文献 26被引用数 26

ひとこと要約

本稿では、動的割り当て問題（広告配置やランク付けなど）に特化した、マトロイド制約下でのサブモジュラ最大化のオンラインアルゴリズムであるTGonlineを提案する。本手法は、$1 - 1/e$ の漸近的近似比を達成するノーリグレット性能保証を実現し、最適なオフライン境界と一致する。また、OCGアルゴリズムを用いて一般マトロイド制約へ拡張され、実世界のWeb応用において優れた実験的性能が確認された。

ABSTRACT

Which ads should we display in sponsored search in order to maximize our revenue? How should we dynamically rank information sources to maximize the value of the ranking? These applications exhibit strong diminishing returns: Redundancy decreases the marginal utility of each ad or information source. We show that these and other problems can be formalized as repeatedly selecting an assignment of items to positions to maximize a sequence of monotone submodular functions that arrive one by one. We present an efficient algorithm for this general problem and analyze it in the no-regret model. Our algorithm possesses strong theoretical guarantees, such as a performance ratio that converges to the optimal constant of 1 - 1/e. We empirically evaluate our algorithm on two real-world online optimization problems on the web: ad allocation with submodular utilities, and dynamically ranking blogs to detect information cascades. Finally, we present a second algorithm that handles the more general case in which the feasible sets are given by a matroid constraint, while still maintaining a 1 - 1/e asymptotic performance ratio.

研究の動機と目的

• 広告表示や情報ランク付けのようないくつかの利得に逓減効果が現れる動的割り当て問題を扱う。
• 完全情報とバンディットフィードバックの両設定においても強い理論的保証を維持する効率的なオンラインアルゴリズムを開発する。
• 単純な割り当て構造を超えて、より広範な適用性を実現するため、一般マトロイド制約へフレームワークを拡張する。
• ブログランク付けや広告割り当てといった実世界の問題において、提案手法の実験的妥当性を検証し、先行手法を上回る性能を示す。

提案手法

• 割り当て制約下でのサブモジュラ最大化に対して、近似的に最適なオフラインアルゴリズムとしてTabularGreedyを提案し、$1 - 1/e$ の近似比を達成する。
• 多腕バンディットサブルーチンを用いて時間とともに学習を進めるオンラインアルゴリズムTGonlineを導入し、$1 - 1/e$ の漸近的保証を満たすノーリグレット性能を維持する。
• 一般マトロイド制約を扱うためのOCG（オンライン連続グリーディ）を設計し、理論的枠組みを任意の独立系へ拡張する。
• 累積リグレットが非線形に増加するノーリグレット学習モデルを採用し、長期的に最適なオフライン解に近づく性能を保証する。
• 適応的探索を組み込んだグリーディ選択戦略を採用し、高利得の割り当ての活用と不確実な選択肢の探索のバランスを取る。
• クリックスルー率と放棄確率をアイテム-位置割り当てのサブモジュラ関数としてモデル化することで、実世界の問題にフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 ノーリグレットモデル下で、マトロイド制約下でのサブモジュラ最大化に対して、オンラインアルゴリズムが $1 - 1/e$ の近似比を達成できるか？
• RQ2 サブモジュラ報酬を伴う動的割り当て問題において、TGonlineの性能は先行するオンラインアルゴリズムと比べてどうか？
• RQ3 アルゴリズムフレームワークは、一般マトロイド制約を扱えるように拡張可能であり、強力な理論的保証を維持できるか？
• RQ4 広告割り当てやブログランク付けといった実世界の応用において、提案手法は既存手法を上回る性能を示すか？
• RQ5 ユーザーの多様性とサブモジュラ利得構造の影響は、オンライン割り当てアルゴリズムの取り扱いやすさと性能にどう影響するか？

主な発見

• TGonlineは、$1 - 1/e$ の漸近的近似比を達成するノーリグレット性能保証を実現し、サブモジュラ最大化の最適なオフライン境界と一致する。
• サブモジュラ利得を伴う広告割り当ての実験において、$C=4$ のTGonlineは $10^4$ ラウンド後、ベースライン（$C=1$ に相当）を上回る性能を示した。
• ブログランク付けタスクにおいても、提案手法は強力な実験的性能を示し、サブモジュラ多様性と関連性を最大化することで情報の連鎖的拡散を効果的に検出できた。
• オフラインのTabularGreedyアルゴリズムは、単調サブモジュラ関数下での割り当て最適化というNP困難問題に対して $1 - 1/e$ の近似比を達成する。
• OCGアルゴリズムにより、フレームワークは任意のマトロイド制約へ一般化され、$1 - 1/e$ のノーリグレット保証を維持する。これにより、割り当て構造を超えた応用範囲が拡張された。
• クリックスルー率と放棄確率がユーザーのタイプによって異なる場合、$(1 - 1/e + \varepsilon)$-最適な割り当てを求めるオフライン問題はNP困難である。