[论文解读] Learning without Recall: A Case for Log-Linear Learning

M. Amin Rahimian, Ali Jadbabaie|arXiv (Cornell University)|Sep 30, 2015

Opinion Dynamics and Social Influence参考文献 20被引用 3

一句话总结

本文提出了一种「无需记忆的学习」模型，其中理性代理通过一种对数线性规则更新信念，避免存储完整的历史记录，而是依赖于当前信念和私人信号。该模型为非贝叶斯更新规则提供了行为基础，并证明在强连通网络中，当代理随时间逐渐减少对邻居信念的依赖时，学习可实现渐近指数级快速收敛。

ABSTRACT

We analyze a model of learning and belief formation in networks in which agents follow Bayes rule yet they do not recall their history of past observations and cannot reason about how other agents' beliefs are formed. They do so by making rational inferences about their observations which include a sequence of independent and identically distributed private signals as well as the beliefs of their neighboring agents at each time. Fully rational agents would successively apply Bayes rule to the entire history of observations. This leads to forebodingly complex inferences due to lack of knowledge about the global network structure that causes those observations. To address these complexities, we consider a Learning without Recall model, which in addition to providing a tractable framework for analyzing the behavior of rational agents in social networks, can also provide a behavioral foundation for the variety of non-Bayesian update rules in the literature. We present the implications of various choices for time-varying priors of such agents and how this choice affects learning and its rate.

研究动机与目标

• 为解决由于缺乏全局结构知识而导致的社会网络中完全理性贝叶斯推断的计算不可行性。
• 为文献中广泛使用的非贝叶斯更新规则（尤其是具有对数线性结构的规则）提供行为上的合理性解释。
• 分析时变先验和信念更新规则如何影响网络中的学习收敛性与学习速率。
• 建立在有限记忆和局部信息条件下，代理仍能学习世界真实状态的条件。

提出的方法

• 代理使用一种对数线性信念更新规则，结合私人信号和邻居的当前信念，而无需回忆过去的观察或信念。
• 模型通过使用对数信念比（ϕ）和对数似然比（λ）来线性化贝叶斯更新过程，从而实现可处理的分析。
• 引入一种时变先验结构，其中代理随时间对邻居信念的权重逐渐减小，表示为当 t → ∞ 时 x_t → 0。
• 通过涉及加权邻接矩阵 B = ηI + (1−η)T 的矩阵迭代形式化更新规则，其中 T 为归一化的网络邻接矩阵。
• 利用遍历马尔可夫链理论分析收敛性，借助Cesàro平均以及唯一平稳分布 s 的存在性。
• 该模型确保渐近几乎必然的指数级学习速率，其速率由 ∑ᵢ sᵢ(−λᵢ(θ̂)) 决定，其中 θ̂ ≠ θ。

实验结果

研究问题

• RQ1 在社交网络中，理性代理是否能够在不回忆过去信念或观察的情况下学习到世界的真正状态？
• RQ2 在时变先验和信念更新规则下，何种条件可确保几乎必然收敛至真实状态？
• RQ3 学习速率如何依赖于网络结构及对邻居信念赋予的权重？
• RQ4 具有对数线性结构的非贝叶斯更新规则能否通过一种理性学习模型获得行为上的合理性解释？

主要发现

• 当代理随时间逐渐减少对邻居信念的依赖（即当 t → ∞ 时 x_t → 0）时，强连通网络中的代理可实现渐近指数级快速学习。
• 学习速率由平稳分布 s 和对数似然比决定，其速率为 min_{θ̂≠θ} ∑ᵢ sᵢ(−λᵢ(θ̂))。
• 对于时变更新下的收敛性，一个必要条件是 ∑_{u=1}^∞ x_u < ∞，其中 x_u 表示在时间 u 时对邻居信念的相对权重。
• 该模型通过证明在无记忆约束下理性推断可自然导出对数线性更新规则，为诸如 DeGroot 和 Jadbabaie 等人的规则提供了行为基础。
• 即使没有完整记忆，只要网络是强连通的且私人信号整体能识别真实状态，代理仍可学习到真相。
• 该分析无需假设网络的非周期性，仅依赖于遍历性和唯一平稳分布的存在性。