[论文解读] Quickest Time Herding and Detection for Optimal Social Learning

Vikram Krishnamurthy|arXiv (Cornell University)|Mar 25, 2010

Computability, Logic, AI Algorithms参考文献 23被引用 15

一句话总结

本文提出了一种理性代理人网络中最优社会学习的框架，通过贝叶斯后验分布空间上的切换曲线对从众行为和最快时间检测进行建模。通过引入格规划与随机逼近方法，在善意且动态的目标条件下推导出最优决策规则，并证明了对几何分布与相型分布变化的切换曲线最优性。

ABSTRACT

This paper considers social learning amongst rational agents (for example, sensors in a network). We consider three models of social learning in increasing order of sophistication. In the first model, based on its private observation of a noisy underlying state process, each agent selfishly optimizes its local utility and broadcasts its action. This protocol leads to a herding behavior where the agents eventually choose the same action irrespective of their observations. We then formulate a second more general model where each agent is benevolent and chooses its sensor-mode to optimize a social welfare function to facilitate social learning. Using lattice programming and stochastic orders, it is shown that the optimal decision each agent makes is characterized by a switching curve on the space of Bayesian distributions. We then present a third more general model where social learning takes place to achieve quickest time change detection. Both geometric and phase-type change time distributions are considered. It is proved that the optimal decision is again characterized by a switching curve We present a stochastic approximation (adaptive filtering) algorithms to estimate this switching curve. Finally, we present extensions of the social learning model in a changing world (Markovian target) where agents learn in multiple iterations. By using Blackwell stochastic dominance, we give conditions under which myopic decisions are optimal. We also analyze the effect of target dynamics on the social welfare cost.

研究动机与目标

• 建模理性代理人间的社会学习，其中代理人在基于私人噪声观测并广播行动时产生从众行为。
• 将模型扩展至善意代理人，通过信念分布上的随机效用函数优化社会福利。
• 提出一个框架，利用几何分布与相型分布在动态环境中实现最快时间变化检测。
• 设计自适应算法，实现实时不确定性下最优切换曲线的估计，以支持实时决策。
• 分析马尔可夫目标动态对社会福利的影响，并确定局部最优决策成立的条件。

提出的方法

• 使用格规划与随机序刻画最优决策规则，将其表征为贝叶斯后验分布空间上的切换曲线。
• 应用随机逼近（自适应滤波）方法，在未知底层分布的前提下实时估计切换曲线。
• 使用几何分布与相型分布对状态变化时间进行建模，以分析最快检测性能。
• 利用布莱克韦尔随机占优性推导在马尔可夫目标环境中局部决策最优的条件。
• 引入多轮次学习模型，以捕捉目标时变环境下的社会学习过程。
• 通过分析社会福利成本，推导出在动态目标动态下局部决策最优性的充分条件。

实验结果

研究问题

• RQ1 尽管存在私人噪声观测，网络中的自私代理人如何实现从众行为？
• RQ2 在信念空间上，善意代理人的最优行动在何种条件下由切换曲线表征？
• RQ3 在变化时间分布未知的社会学习中，最快时间变化检测的最优策略是什么？
• RQ4 自适应滤波算法能否在不掌握底层过程先验知识的前提下估计最优切换曲线？
• RQ5 在马尔可夫目标环境中，何时局部决策规则是最优的？目标动态如何影响社会福利？

主要发现

• 在社会学习中，善意代理人的最优决策由贝叶斯后验分布空间上的切换曲线表征，该曲线通过格规划与随机序推导得出。
• 对于最快时间检测，当变化时间分布为几何分布或相型分布时，最优策略同样由切换曲线表征，从而确保最小检测延迟。
• 随机逼近算法收敛至最优切换曲线，实现实时实现而无需掌握完整的分布知识。
• 在马尔可夫目标环境中，当目标动态满足通过布莱克韦尔序导出的特定随机占优条件时，局部决策是最优的。
• 社会福利成本随目标动态速率增加而上升，本文通过非最优性成本的解析界量化了这一权衡。
• 切换曲线结构在不同变化时间分布下保持不变，表明所提框架具有鲁棒性与普适性。