[论文解读] Information Design with Unknown Prior

Ce Li, T. Lin|arXiv (Cornell University)|Oct 7, 2024

Advanced Database Systems and Queries被引用 1

一句话总结

本文提出了一种信息设计者在面对接收者未知先验信念时的学习算法。通过在接收者行动上使用二分查找来估计先验，设计者实现了在一般情况下 regret 上界为 Θ(log T)、在二值行动情况下为 Θ(log log T) 的无遗憾学习，从而在无法直接观测状态的情况下，快速收敛至近似最优的信号传递方案。

ABSTRACT

Classical information design models (e.g., Bayesian persuasion and cheap talk) require players to have perfect knowledge of the prior distribution of the state of the world. Our paper studies repeated persuasion problems in which the information designer does not know the prior. The information designer learns to design signaling schemes from repeated interactions with the receiver. We design learning algorithms for the information designer to achieve no regret compared to using the optimal signaling scheme with known prior, under two models of the receiver’s decision-making: (1) The first model assumes that the receiver knows the prior and can perform posterior update and best respond to signals. In this model, we design a learning algorithm for the information designer to achieve O(log T) regret in the general case, and another algorithm with Θ(log log T) regret in the case where the receiver has only two actions. Our algorithms are based on multi-dimensional and conservative binary search techniques, which circumvent the Ω(√T) limitation of empirical estimation in previous works. (2) The second model assumes that the receiver does not know the prior either and employs a no-regret learning algorithm to take actions. Bayesian persuasion and cheap talk are equivalent under this no-regret learning receiver model. We show that the information designer can achieve regret O(√{rReg(T) T}), where rReg(T) = o(T) is an upper bound on the receiver’s learning regret. The algorithm is based on exploration + robustification. The O(√{rReg(T) T}) regret bound is tight even when the information designer knows the prior [Lin and Chen, 2024]. Our work thus provides a learning foundation for the problem of information design with unknown prior.

研究动机与目标

• 解决信息设计者在缺乏接收者对状态先验信念知识时所面临的挑战。
• 克服经验估计方法的局限性（需观测状态且面临 O(√T) 的 regret），以及鲁棒优化方法在非最坏情况先验下表现欠佳的问题。
• 设计一种学习算法，使设计者即使无法直接访问状态信息，也能以快速速率收敛至近似最优的信号传递方案。
• 通过从重复互动中接收者的行动选择推断其先验信念，实现无遗憾学习。
• 建立紧致的 regret 上界，反映该设定下学习效率的根本极限。

提出的方法

• 利用接收者的行动作为反馈来推断真实先验信念，而非依赖对状态的直接观测。
• 在可能的先验值上实施二分查找机制，其中每个信号传递方案均被设计为在假设的先验下使接收者对各行动无差异。
• 利用接收者的行动选择（例如，其选择的行动）判断真实先验是高于还是低于当前猜测，从而缩小搜索范围。
• 通过最优信号传递方案的结构特性，将二分查找框架从二值行动推广至多行动与多状态情形。
• 基于估计的先验构建信号传递方案，并通过迭代更新估计值以逐步提升性能。
• 在二值行动情形中，将说服力强度 M 作为关键参数，通过反馈判断信号方案是否具有说服力来学习 M*。

实验结果

研究问题

• RQ1 信息设计者能否通过重复互动，在不观测底层状态的情况下，高效学习接收者的未知先验信念？
• RQ2 当先验未知时，学习最优信号传递方案的 regret 速率的根本极限是什么？
• RQ3 在一般情形与二值行动的特殊情形下，regret 上界如何随时间 T 变化？
• RQ4 设计者能否仅使用行动反馈实现无遗憾学习，而无需观测状态或做出先验假设？
• RQ5 是否存在与所提算法实现的上界相匹配的根本性 regret 下界？

主要发现

• 所提学习算法在多状态与多行动的一般情形下，实现了 O(log T) 的 regret 上界，确保对未知先验的最优信号传递方案快速收敛。
• 在重要的二值行动特殊情形下，算法实现了紧致的 regret 上界 Θ(log log T)，与已确立的 Ω(log log T) 下界完全匹配。
• regret 上界源于对说服力强度 M* 的二分查找过程，其中每次行动反馈揭示关于真实 M* 的一位信息。
• 该算法通过基于行动而非状态观测的学习，避免了经验估计方法的 O(√T) regret，后者在状态常不可用时尤为受限。
• 紧致的 Θ(log log T) 上界表明，该算法在二值行动设定下达到常数因子意义下的最优性。
• 结果表明，即使设计者无法观测状态，仅依赖接收者的行为来推断先验，高效学习仍是可能的。