[论文解读] Economic Recommendation Systems

Gal Bahar, Rann Smorodinsky+1 more|arXiv (Cornell University)|Jul 26, 2015

Advanced Bandit Algorithms Research参考文献 15被引用 11

一句话总结

本文提出了一种针对社交网络中相互观察行为的去中心化代理的激励相容经济推荐系统。它提出了一种高可见性机制，只要高可见代理的数量以次线性方式增长，即可实现渐近最优的探索与利用——具体而言，当 $2eta + eta < 1$ 时成立，其中 $N^\alpha$ 限制了局部可见性，$N^\beta$ 限制了高度连接代理的数量。

ABSTRACT

In the on-line Explore and Exploit literature, central to Machine Learning, a central planner is faced with a set of alternatives, each yielding some unknown reward. The planner's goal is to learn the optimal alternative as soon as possible, via experimentation. A typical assumption in this model is that the planner has full control over the experiment design and implementation. When experiments are implemented by a society of self-motivated agents the planner can only recommend experimentation but has no power to enforce it. Kremer et al (JPE, 2014) introduce the first study of explore and exploit schemes that account for agents' incentives. In their model it is implicitly assumed that agents do not see nor communicate with each other. Their main result is a characterization of an optimal explore and exploit scheme. In this work we extend Kremer et al (JPE, 2014) by adding a layer of a social network according to which agents can observe each other. It turns out that when observability is factored in the scheme proposed by Kremer et al (JPE, 2014) is no longer incentive compatible. In our main result we provide a tight bound on how many other agents can each agent observe and still have an incentive-compatible algorithm and asymptotically optimal outcome. More technically, for a setting with N agents where the number of nodes with degree greater than N^alpha is bounded by N^beta and 2*alpha+beta &lt; 1 we construct incentive-compatible asymptotically optimal mechanism. The bound 2*alpha+beta &lt; 1 is shown to be tight.

研究动机与目标

• 解决在去中心化社交网络中设计激励相容推荐机制的挑战，其中代理可观察彼此的行为。
• 通过引入社交网络可观测性扩展先前关于探索-利用方案的研究，该可观测性影响代理进行实验的激励。
• 刻画在存在社交可观测性的情况下，机制既能激励相容又可实现渐近最优的条件。
• 识别出在该机制下仍可实现高效且公平探索的网络结构——特别是度分布和高度连接代理数量的紧致边界。

提出的方法

• 提出一种高可见性机制，根据代理的可见性及其到达顺序，决定其是否进行实验或利用。
• 采用两阶段协议：实验阶段（代理被推荐尝试次优行为）和利用阶段（推荐最优行为）。
• 使用基于标志的消息传递系统，代理根据当前实验状态及其可见集接收推荐。
• 定义 $T = \{n: |B(n)| \leq N^\alpha\}$ 为低可见性代理，$S = N \setminus T$ 为高可见性代理，且 $|S| \leq N^\beta$。
• 应用阈值 $k = K'$ 以触发实验阶段的结束，该阈值基于已观察并采取行动的代理数量。
• 利用条件期望和激励相容约束，推导出可观测奖励期望值的边界，并确保行为的诚实性。

实验结果

研究问题

• RQ1 在何种网络结构下，可设计出一种激励相容机制，以确保在社交探索-利用设置中实现渐近最优的探索？
• RQ2 社交可观测性（即代理可观察他人行为）如何影响推荐系统的激励结构？
• RQ3 对高度可见代理的数量和连通性的最紧边界是什么，仍可保证机制的激励相容性和渐近效率？
• RQ4 当所有代理均可相互观察（即完全可观测）时，机制是否仍能保持高效与激励相容？

主要发现

• 当 $2\alpha + \beta < 1$ 时，高可见性机制可确保激励相容性和渐近最优性，其中 $\alpha$ 控制局部可见性，$\beta$ 限制高度连接代理的数量。
• 该机制在最多 $3K\left(\frac{\mu_a - \frac{\mu_b}{2}}{\mu_a - \mu_b}\right)N^{\beta + 2\alpha}$ 个代理后终止实验阶段，确保次线性遗憾。
• 边界 $2\alpha + \beta < 1$ 是紧致的：当 $\alpha = 0$ 且 $\beta = 1$（完全可观测）时，不存在激励相容且渐近高效的机制。
• 在完全可观测情况下（对所有 $n$ 有 $B(n) = N$），若 $E[V_a | V_a < x] > \mu_b$，则不存在激励相容且高效的机制，因为其导致期望值矛盾。
• 该机制保证仅有 $O(N^{\beta + 2\alpha})$ 个代理采取次优行动，且当 $\beta + 2\alpha < 1$ 时，该比例随 $N \to \infty$ 而趋于零。
• 证明依赖于反证法：若所有代理均可观察彼此，则第一个尝试更优行动的代理的期望值将超过 $\mu_b$，从而违反激励相容性。