[论文解读] Learning Graphical Games from Behavioral Data: Sufficient and Necessary Conditions

Asish Ghoshal, Jean Honorio|arXiv (Cornell University)|Mar 3, 2017

Artificial Intelligence in Games被引用 7

一句话总结

本文为从带有噪声的行为数据中学习稀疏线性影响博弈中的纯策略纳什均衡（PSNE）集合，建立了紧致的样本复杂度边界。研究证明，在一般观测模型下，使用ℓ₁-正则化逻辑回归进行精确PSNE恢复，至少需要$Ω(k\log n)$个样本，而$\mathcal{O}(k^2\log n)$个样本即足够，该方法接近信息论极限。

ABSTRACT

In this paper we obtain sufficient and necessary conditions on the number of samples required for exact recovery of the pure-strategy Nash equilibria (PSNE) set of a graphical game from noisy observations of joint actions. We consider sparse linear influence games --- a parametric class of graphical games with linear payoffs, and represented by directed graphs of n nodes (players) and in-degree of at most k. We show that one can efficiently recover the PSNE set of a linear influence game with $O(k^2 \log n)$ samples, under very general observation models. On the other hand, we show that $Ω(k \log n)$ samples are necessary for any procedure to recover the PSNE set from observations of joint actions.

研究动机与目标

• 确定从带有噪声的联合动作观测中精确恢复图形博弈PSNE集合所需的基本样本复杂度。
• 分析ℓ₁-正则化逻辑回归在一般噪声模型下学习稀疏线性影响博弈的性能。
• 在多项式时间内建立精确恢复PSNE集合的样本数量的必要与充分条件。
• 表明所提出的方法接近信息论下限，实现近乎最优的样本效率。

提出的方法

• 作者将问题建模为学习具有线性收益的稀疏图博弈，其中每个玩家的收益仅依赖于其在入度至多为$k$的有向图中的入邻居。
• 使用ℓ₁-正则化逻辑回归独立学习每个玩家的邻居集合，从而实现对博弈结构的高效且一致的估计。
• 该方法被证明具有似然一致性，并在适当的样本条件下可精确恢复PSNE集合。
• 分析将先前的观测模型推广至满足温和正则性条件的任意分布，包括全局噪声和局部噪声模型。
• 采用信息论技术，包括Fano不等式，推导出任何恢复过程所需样本量的下限。
• 样本复杂度以最大噪声水平和损失函数的条件数表示，揭示了在低噪声水平下出人意料的依赖关系。

实验结果

研究问题

• RQ1 从带有噪声的观测中精确恢复稀疏线性影响博弈的PSNE集合，所需的最少样本数是多少？
• RQ2 ℓ₁-正则化逻辑回归在学习图博弈时的性能与基本信息论极限相比如何？
• RQ3 在何种噪声模型下，样本复杂度呈$\mathcal{O}(k^2\log n)$量级，何时会偏离？
• RQ4 为何样本复杂度在噪声水平降低时反而增加，尽管直觉上噪声减少应使学习更容易？
• RQ5 在一般观测模型下，能否使用多项式时间方法以高概率精确恢复PSNE集合？

主要发现

• 精确恢复PSNE集合所需的样本数为$\Omega(k\log n)$，这是任何恢复过程的必要下界。
• 基于ℓ₁-正则化逻辑回归的所提方法在$\mathcal{O}(k^2\log n)$个样本下可实现精确PSNE恢复，其复杂度仅在对数因子内为紧致。
• 当噪声水平不过低时，无论在全局还是局部噪声模型下，样本复杂度均呈$\mathcal{O}(k^2\log n)$量级。
• 当噪声水平$\tilde{p}_{\text{min}}$趋近于零时，出现反直觉现象：损失函数的Hessian矩阵条件数变差，导致因PSNE动作中数据重复而需更多样本。
• 该方法接近信息论极限，样本复杂度上下界之比为$\mathcal{O}(k)$，表明其近乎最优。
• 该分析通过仅关注PSNE恢复而非完整图结构恢复，避免了诸如互不相干性等强假设，从而在条件上弱于以往工作。