[論文レビュー] Competing Bandits: Learning under Competition

Yishay Mansour, Aleksandrs Slivkins+1 more|arXiv (Cornell University)|Feb 27, 2017

Advanced Bandit Algorithms Research参考文献 27被引用数 19

ひとこと要約

本稿は、ユーザーが期待効用に基づいて選択する状況において、ユーザーをめぐって競争する2つのマルチアームドバンディットアルゴリズムの間の競争を研究している。高 rationality（HardMax）の下では、競争は探索を抑制し、グリーディ戦略を好むが、中程度の rationality（SoftMax）の下では、より優れたアルゴリズムが採用される。これは、競争性とイノベーション採用の間には逆U字型の関係があることを示している。

ABSTRACT

Most modern systems strive to learn from interactions with users, and many engage in exploration: making potentially suboptimal choices for the sake of acquiring new information. We initiate a study of the interplay between exploration and competition--how such systems balance the exploration for learning and the competition for users. Here the users play three distinct roles: they are customers that generate revenue, they are sources of data for learning, and they are self-interested agents which choose among the competing systems. In our model, we consider competition between two multi-armed bandit algorithms faced with the same bandit instance. Users arrive one by one and choose among the two algorithms, so that each algorithm makes progress if and only if it is chosen. We ask whether and to what extent competition incentivizes the adoption of better bandit algorithms. We investigate this issue for several models of user response, as we vary the degree of rationality and competitiveness in the model. Our findings are closely related to the "competition vs. innovation" relationship, a well-studied theme in economics.

研究の動機と目的

• 学習システム間の競争が、より優れた探索アルゴリズムの採用に与える影響を理解すること。
• マルチアームドバンディット設定におけるユーザーの rationality、市場の競争性、アルゴリズム選択の相互作用をモデル化すること。
• 競争がより優れた学習アルゴリズムをインcentivizeするか、探索の欠如による劣悪な結果をもたらすかを分析すること。
• 異なるユーザー反応モデル下で、均衡において優れたアルゴリズムがどのように出現するかを調査すること。
• ユーザー主導の選択に基づく学習システムにおける、競争と独占の社会的福祉への影響を探索すること。

提案手法

• 2人のプレーヤーがマルチアームドバンディットアルゴリズムを用い、順次到着するユーザーを獲得するために競争するゲームをモデル化する。
• ユーザーは、rationality や意思決定行動を反映する応答関数（例：HardMax、SoftMax、HardMax&Random）に基づいてプレーヤーを選択する。
• 各プレーヤーは、自らが選ばれたユーザーしか観測できず、相手の結果を観測できないため、自らの行動の報酬分布を学習する必要がある。
• さまざまな応答関数下での均衡行動を分析し、より優れたアルゴリズム（例：ベイジアンレグレットが低いもの）が採用されるかを検討する。
• より優れたアルゴリズムが好まれる状況を特徴付けるために、BIR優位性（Bayesian-Improvement-Rational dominance）の概念を導入する。
• 理論的分析を用いて、特に SoftMax および HardMax&Random の下で、ナッシュ均衡の存在および一意性を証明する。

実験結果

リサーチクエスチョン

• RQ1 学習システム間の競争が、より優れたマルチアームドバンディットアルゴリズムの採用をインセンティブにするか？
• RQ2 ユーザーの rationality が、競争的状況下での学習アルゴリズムの均衡選択に与える影響は何か？
• RQ3 どのような条件下で、より優れたアルゴリズム（低いベイジアンレグレットを有する）が均衡で優位を占めるか？
• RQ4 学習システムにおける競争性とイノベーションの関係は何か？逆U字型のパターンを示すか？
• RQ5 ユーザー応答の構造（例：SoftMax 対 HardMax）が、学習アルゴリズムの長期的パフォーマンスおよび採用に与える影響は何か？

主な発見

• HardMax 応答関数（完全な rationality）の下では、支配戦略は DynamicGreedy であり、探索を回避し、より優れたアルゴリズムの採用を妨げる。
• 小さなランダム化（ε₀ が 0 に近い）を伴う HardMax&Random の下では、他のアルゴリズムを BIR 優位に上回るより優れたアルゴリズムが均衡で採用されるが、利益の増加は限定的である。
• SoftMax 応答の下では、より優れたアルゴリズムが、他のアルゴリズムを弱く BIR 優位に上回る限り、採用される。これは、イノベーションに対する強いインセンティブがあることを示している。
• ユーザー rationality（ε₀ で制御）の関数として、より優れたアルゴリズムに切り替える際の限界効用は逆U字型を示し、中程度の rationality でピークに達する。
• 一様選択モデル（ε₀ = 0.5）では、アルゴリズムの質に関係なくユーザーがランダムに選択するため、イノベーションのインセンティブは存在しない。
• 独占状態では、競争状態よりも高い社会的福祉をもたらすことがある。なぜなら、単一のプレーヤーはレグレットを最小化し、最良のアルゴリズムを採用するインセンティブを持つからである。