[論文レビュー] Economic Recommendation Systems

Gal Bahar, Rann Smorodinsky+1 more|arXiv (Cornell University)|Jul 26, 2015

Advanced Bandit Algorithms Research参考文献 15被引用数 11

ひとこと要約

この論文は、相互に行動を観察する分散型エージェントの社会的ネットワークにおけるインcentive-compatibleな経済的レコメンデーションシステムを提案する。高可視性メカニズムを導入し、高可視エージェントの数が部分線形に増加する限り、漸近的に最適な探索と活用を保証する。具体的には、$2\alpha + \beta < 1$ のとき、$N^\alpha$ が局所的可視性を、$N^\beta$ が高接続エージェントの数をそれぞれ制限する。

ABSTRACT

In the on-line Explore and Exploit literature, central to Machine Learning, a central planner is faced with a set of alternatives, each yielding some unknown reward. The planner's goal is to learn the optimal alternative as soon as possible, via experimentation. A typical assumption in this model is that the planner has full control over the experiment design and implementation. When experiments are implemented by a society of self-motivated agents the planner can only recommend experimentation but has no power to enforce it. Kremer et al (JPE, 2014) introduce the first study of explore and exploit schemes that account for agents' incentives. In their model it is implicitly assumed that agents do not see nor communicate with each other. Their main result is a characterization of an optimal explore and exploit scheme. In this work we extend Kremer et al (JPE, 2014) by adding a layer of a social network according to which agents can observe each other. It turns out that when observability is factored in the scheme proposed by Kremer et al (JPE, 2014) is no longer incentive compatible. In our main result we provide a tight bound on how many other agents can each agent observe and still have an incentive-compatible algorithm and asymptotically optimal outcome. More technically, for a setting with N agents where the number of nodes with degree greater than N^alpha is bounded by N^beta and 2*alpha+beta &lt; 1 we construct incentive-compatible asymptotically optimal mechanism. The bound 2*alpha+beta &lt; 1 is shown to be tight.

研究の動機と目的

• エージェントが互いの行動を観察する分散型社会的ネットワークにおいて、インcentive-compatibleなレコメンデーションメカニズムを設計する課題に対処すること。
• 探索と活用の枠組みを拡張し、エージェントが実験する動機に影響を与える社会的ネットワークの観察可能性を統合すること。
• 社会的観察性が存在する中で、メカニズムがインcentive-compatibleかつ漸近的に最適であるための条件を同定すること。
• 効率的かつ公平な探索が可能であるためのネットワーク構造のタイトな境界を特定すること、特に次数分布および高接続エージェントの数に焦点を当てる。

提案手法

• エージェントの可視性と到着順に従って、実験または活用に割り当てる高可視性メカニズムを導入。
• 二段階プロトコルを用いる：実験フェーズ（サブオプティマルな行動を推奨）と活用フェーズ（最適な行動を推奨）の段階。
• フラグを用いたメッセージパッシング方式を採用し、エージェントは現在の実験状態と可視性集合に基づいてレコメンデーションを受ける。
• $T = \{n: |B(n)| \leq N^\alpha\}$ を低可視エージェント、$S = N \setminus T$ を高可視エージェントと定義し、$|S| \leq N^\beta$ とする。
• 観察済みかつ行動済みのエージェント数に基づき、閾値 $k = K'$ を用いて実験フェーズの終了をトリガーする。
• 条件付き期待値とインcentive compatibility制約を用いて、観察された報酬の期待値の上限を導出し、真実の行動を促す。

実験結果

リサーチクエスチョン

• RQ1 どのようなネットワーク構造下で、社会的探索・活用設定において、漸近的に最適な探索を保証するインcentive-compatibleなメカニズムを設計できるか？
• RQ2 エージェントが他の者の行動を観察できる社会的観察性が、レコメンデーションシステムのインセンティブ構造にどのように影響を与えるか？
• RQ3 高可視エージェントの数と接続性に、インcentive compatibilityおよび漸近的効率性を保つために必要な最もタイトな境界は何か？
• RQ4 すべてのエージェントが互いの行動を観察できる（完全観察性）場合、メカニズムは依然として効率的かつインcentive-compatibleであることができるか？

主な発見

• 高可視性メカニズムは、$2\alpha + \beta < 1$ のとき、インcentive-compatibleかつ漸近的に最適である。ここで、$\alpha$ は局所的可視性を制御し、$\beta$ は高接続エージェントの数を制限する。
• メカニズムは、最大 $3K\left(\frac{\mu_a - \frac{\mu_b}{2}}{\mu_a - \mu_b}\right)N^{\beta + 2\alpha}$ 個のエージェントが実験フェーズを経て終了し、部分線形なレグレットを保証する。
• $2\alpha + \beta < 1$ の境界はタイトである：$ \alpha = 0$ かつ $\beta = 1$（完全観察性）のとき、インcentive-compatibleかつ漸近的に効率的なメカニズムは存在しない。
• 完全観察性の場合（すべての $n$ に対して $B(n) = N$）、$E[V_a | V_a < x] > \mu_b$ ならば、ICかつ効率的なメカニズムは存在しない。これは期待値の矛盾による。
• メカニズムは、劣悪な行動を取るエージェントが $O(N^{\beta + 2\alpha})$ 個に限定され、$\beta + 2\alpha < 1$ のとき $N \to \infty$ でその割合が消滅する。
• 証明は背理法に依存する：すべてのエージェントが互いを観察できる場合、より良い行動を最初に実験するエージェントの期待値は $\mu_b$ を超え、インcentive compatibilityに反する。