[论文解读] Linear Regression as a Non-Cooperative Game

Stratis Ioannidis, Patrick Loiseau|arXiv (Cornell University)|Sep 30, 2013

Consumer Market Behavior and Pricing被引用 6

一句话总结

本文将线性回归建模为非合作博弈，其中个体通过有策略地为其私有数据添加噪声，以平衡隐私损失与估计误差。本文证明了存在唯一非平凡的纳什均衡，并通过证明广义最小二乘估计量在策略行为下仍保持最优，扩展了高斯-马尔可夫定理。

ABSTRACT

Abstract. Linear regression amounts to estimating a linear model that maps features (e.g., age or gender) to corresponding data (e.g., the an-swer to a survey or the outcome of a medical exam). It is a ubiquitous tool in experimental sciences. We study a setting in which features are public but the data is private information. While the estimation of the linear model may be useful to participating individuals, (if, e.g., it leads to the discovery of a treatment to a disease), individuals may be reluctant to disclose their data due to privacy concerns. In this paper, we propose a generic game-theoretic model to express this trade-off. Users add noise to their data before releasing it. In particular, they choose the variance of this noise to minimize a cost comprising two components: (a) a pri-vacy cost, representing the loss of privacy incurred by the release; and (b) an estimation cost, representing the inaccuracy in the linear model estimate. We study the Nash equilibria of this game, establishing the existence of a unique non-trivial equilibrium. We determine its efficiency for several classes of privacy and estimation costs, using the concept of the price of stability. Finally, we prove that, for a specific estimation cost, the generalized least-square estimator is optimal among all linear unbi-ased estimators in our non-cooperative setting: this result extends the famous Aitken/Gauss-Markov theorem in statistics, establishing that its conclusion persists even in the presence of strategic individuals.

研究动机与目标

• 建模个体控制其私有数据时，线性回归中隐私与估计准确性的权衡。
• 将个体决策形式化为非合作博弈，用户通过最小化结合隐私损失与估计误差的代价函数来行动。
• 分析该博弈的纳什均衡，并确立唯一均衡存在的条件。
• 通过不同代价函数下的稳定性价格，评估均衡的效率。
• 通过证明广义最小二乘估计量在用户策略性行为下仍保持最优，扩展经典高斯-马尔可夫定理。

提出的方法

• 将个体建模为非合作博弈中的玩家，其选择噪声方差以最小化结合隐私与估计分量的代价函数。
• 将代价函数定义为隐私代价（随噪声方差增加）与估计代价（随模型不准确性增加）之和。
• 使用博弈论工具分析该博弈，证明存在唯一非平凡的纳什均衡。
• 利用稳定性价格概念，评估均衡相对于最优集体结果的效率。
• 应用统计理论，证明在特定估计代价下，广义最小二乘估计量是该策略性设置下所有线性无偏估计量中的最优者。

实验结果

研究问题

• RQ1 在具有策略性数据提供者的线性回归博弈论模型中，是否存在唯一纳什均衡？
• RQ2 以稳定性价格衡量，均衡在估计准确性和隐私权衡方面的效率如何？
• RQ3 在何种条件下，广义最小二乘估计量在此非合作设置下仍保持最优？
• RQ4 隐私与估计代价函数的不同选择如何影响均衡行为与系统效率？
• RQ5 经典高斯-马尔可夫定理能否在添加噪声的策略性个体存在下依然成立？

主要发现

• 在具有策略性数据提供者的线性回归博弈论模型中，存在唯一非平凡的纳什均衡。
• 以稳定性价格衡量的均衡效率是有界的，且取决于隐私与估计代价函数的选择。
• 对于特定估计代价函数，广义最小二乘估计量是所有线性无偏估计量中的最优者，从而将高斯-马尔可夫定理扩展至策略性设置。
• 均衡噪声方差严格为正，表明个体始终为保护隐私而牺牲部分估计准确性。
• 该模型表明，在指定条件下，策略行为不会破坏广义最小二乘估计量的最优性，从而保持了关键的统计保证。