[论文解读] Learning to Recommend in Unknown Games

Arwa Alanqary, Zakaria Baba+2 more|arXiv (Cornell University)|Feb 19, 2026

Advanced Bandit Algorithms Research被引用 0

一句话总结

本论文通过最佳响应和量子响应反馈，在多方博弈中通过调解者的推荐学习未知效用函数，证明在量子响应下可学习（至正 affine 变换），在最佳响应下不可学习，并给出低 regret 的在线推荐。

ABSTRACT

We study preference learning through recommendations in multi-agent game settings, where a moderator repeatedly interacts with agents whose utility functions are unknown. In each round, the moderator issues action recommendations and observes whether agents follow or deviate from them. We consider two canonical behavioral feedback models-best response and quantal response-and study how the information revealed by each model affects the learnability of agents' utilities. We show that under quantal-response feedback the game is learnable, up to a positive affine equivalence class, with logarithmic sample complexity in the desired precision, whereas best-response feedback can only identify a larger set of agents' utilities. We give a complete geometric characterization of this set. Moreover, we introduce a regret notion based on agents' incentives to deviate from recommendations and design an online algorithm with low regret under both feedback models, with bounds scaling linearly in the game dimension and logarithmically in time. Our results lay a theoretical foundation for AI recommendation systems in strategic multi-agent environments, where recommendation compliances are shaped by strategic interaction.

研究动机与目标

• 形式化一个调解者–代理人交互，其中效用未知且仅观察到行动反馈。
• 描述在两种行为模型下效用的可学习性：最佳响应和量子响应。
• 给出在两种反馈模型下实现低激励偏离 regret 的高效在线算法。

提出的方法

• 将博弈建模为具有未知效用的有限正规形式博弈，调解者对行动配置的概率分布进行输出。
• 使用两种代理选择模型：最佳响应（BR）和量子响应（QR），以定义观测行动的反馈。
• 将可学习性定义为对代理正仿射变换中的等价性，并通过多面体法向扇（在 BR 下）和基于符号的 QR 反馈来刻画不可区分集合。
• 证明 QR 反馈使效用在正仿射等价下可学习（定理 4），而 BR 反馈则不可（定理 5）。
• 给出基于几何切平面方法的算法，在 BR 和 QR 下实现低 regret，regret 规模为 O(nM log T)（定理 3）。
• 在 QR 下将学习复杂度量化为 O(m n M log(1/ε)) 次推荐以达到 ε-精度（定理 2）。

实验结果

研究问题

• RQ1 调解者是否能从重复的推荐和观测到的行动中恢复未知代理的效用；若不能，哪些等价类是可辨识的？
• RQ2 是否可以设计在 BR 和 QR 反馈下具有低激励偏离的在线推荐？
• RQ3 反馈模型（BR 与 QR）如何影响可学习性及不可区分博弈的结构？
• RQ4 在 BR 反馈下，对不可区分效用的几何表征是什么？
• RQ5 学习和推荐在未知博弈中的样本复杂度与 regret 边界是什么？

主要发现

• 在量子响应反馈下，博弈效用在代理正仿射变换下可学习。
• 在最佳响应反馈下，仍有更大的一类效用不可区分，论文给出这一集的完整几何表征。
• 基于 QR 的学习算法在 ε 近似的效用下需要 O(m n M log(1/ε)) 次推荐，接近博弈规模的线性。
• 一个在线算法在 BR 和 QR 下实现 regret 为 O(nM log T)，对行动数线性、对时间对数依赖。
• 结果为在战略性多代理环境中的 AI 推荐系统提供理论基础，利用偏离平衡的反馈行为。