[論文レビュー] Community Exploration: From Offline Optimization to Online Learning

Xiaowei Chen, Weiran Huang+2 more|arXiv (Cornell University)|Nov 13, 2018

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、ユニークなメンバーを最大化するために、互いに素なコミュニティ間での予算配分をモデル化するコミュニティ探索問題を導入する。非適応および適応的設定における最適なオフライングリーディアルゴリズムを提案し、上位信頼区間を用いた、対数的レジーットを達成するオンライン学習アルゴリズムを提示。事前フィードバックが集約されている場合、定数のレジーットを達成する。

ABSTRACT

We introduce the community exploration problem that has many real-world applications such as online advertising. In the problem, an explorer allocates limited budget to explore communities so as to maximize the number of members he could meet. We provide a systematic study of the community exploration problem, from offline optimization to online learning. For the offline setting where the sizes of communities are known, we prove that the greedy methods for both of non-adaptive exploration and adaptive exploration are optimal. For the online setting where the sizes of communities are not known and need to be learned from the multi-round explorations, we propose an `upper confidence' like algorithm that achieves the logarithmic regret bounds. By combining the feedback from different rounds, we can achieve a constant regret bound.

研究の動機と目的

• オンライン広告やソーシャルリーチ支援といった現実世界の応用を、予算制約付きのコミュニティ探索問題としてモデル化すること。
• 不確実性下でのオンライン学習までを含めた、オフライン最適化から体系的に問題を検討すること。
• 制限された探索予算内でユニークなメンバーを最大限に発見するための効率的アルゴリズムを設計すること。
• 部分的フィードバックおよび完全フィードバックの下でのオンライン学習バージョンに対して、理論的レジーットバウンドを提供すること。

提案手法

• m 個の互いに素なコミュニティを含むコミュニティ探索問題を定式化。各コミュニティのサイズ d_i は既知または未知であり、合計予算は K である。
• 非適応的および適応的オフライン設定において、グリーディアルゴリズムを適用し、システム状態遷移の構造的解析を通じて最適性を証明する。
• オンライン非適応的および適応的探索のための UCB に類似したアルゴリズム（CLCB）を開発し、レジーットを最小限に抑える。
• 複数ラウンドからのフィードバックを活用して完全情報フィードバックを可能にし、定数レジーットを達成する。
• 理論的解析を用いて、オンライン設定における O(log T) のレジーットバウンドを導出。標準的な組み合わせ的 MAB の結果を改善する。
• シミュレーションにおいて、経験的平均推定と打ち切りを用いて、異なるコミュニティサイズ分布下での性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 非適応的および適応的設定において、ユニークなメンバー発見を最大化するための最適なオフライン予算配分戦略は何か？
• RQ2 コミュニティサイズが未知の場合にオンライン学習をどのように適用できるか。また、達成可能なレジーットバウンドは何か？
• RQ3 過去のラウンドからのフィードバックを活用することで、オンラインコミュニティ探索におけるレジーットを低減できるか？
• RQ4 実際の状況において、グリーディポリシーは比例的またはランダム配分と比較してどのように性能を発揮するか？
• RQ5 オンラインコミュニティ探索において、フィードバックの集約がレジーットに与える影響は何か？

主な発見

• グリーディアルゴリズムは、オフライン非適応的および適応的設定の両方で最適な性能を達成し、最適性の理論的証明がなされている。
• オンライン非適応的および適応的設定において、提案された CLCB アルゴリズムは O(log T) のレジーットを達成し、漸近的にタイトである。
• 過去のラウンドからのフィードバックが活用されると、レジーットバウンドは定数に低下し、最適性能への収束を示している。
• シミュレーション結果から、適応的最適手法は非適応的および比例的配分を上回り、予算が増加するにつれて顕著に優位性を示す。
• サイズに比例する配分法は最適配分に非常に近い近似を達成し、最適予算ベクトルとの L1 距離は m よりも小さい。
• 経験的平均に基づくオラクルは線形レジーットを引き起こし、オンライン設定における UCB スタイルの探索の必要性を裏付けている。