[논문 리뷰] Linear Regression as a Non-Cooperative Game

Stratis Ioannidis, Patrick Loiseau|arXiv (Cornell University)|2013. 09. 30.

Consumer Market Behavior and Pricing인용 수 6

한 줄 요약

이 논문은 개인이 자신의 비공개 데이터에 노이즈를 첨가하여 기밀 유출과 추정 오차 사이의 균형을 이루도록 전략적으로 행동하는 비협력 게임으로 선형 회귀를 모델링한다. 유일한 비자명한 나시 균형이 존재함을 증명하고, 일반화된 최소 제곱 추정량이 전략적 행동 하에서도 최적임을 보여주는 것으로 고전적 가우스-마르코프 정리를 확장한다.

ABSTRACT

Abstract. Linear regression amounts to estimating a linear model that maps features (e.g., age or gender) to corresponding data (e.g., the an-swer to a survey or the outcome of a medical exam). It is a ubiquitous tool in experimental sciences. We study a setting in which features are public but the data is private information. While the estimation of the linear model may be useful to participating individuals, (if, e.g., it leads to the discovery of a treatment to a disease), individuals may be reluctant to disclose their data due to privacy concerns. In this paper, we propose a generic game-theoretic model to express this trade-off. Users add noise to their data before releasing it. In particular, they choose the variance of this noise to minimize a cost comprising two components: (a) a pri-vacy cost, representing the loss of privacy incurred by the release; and (b) an estimation cost, representing the inaccuracy in the linear model estimate. We study the Nash equilibria of this game, establishing the existence of a unique non-trivial equilibrium. We determine its efficiency for several classes of privacy and estimation costs, using the concept of the price of stability. Finally, we prove that, for a specific estimation cost, the generalized least-square estimator is optimal among all linear unbi-ased estimators in our non-cooperative setting: this result extends the famous Aitken/Gauss-Markov theorem in statistics, establishing that its conclusion persists even in the presence of strategic individuals.

연구 동기 및 목표

• 개인이 자신의 비공개 데이터를 제어할 때 선형 회귀에서 기밀 보장과 추정 정확도 간의 상호작용을 모델링하기.
• 개인의 의사결정을 비협력 게임으로 형식화하여, 기밀 손실과 추정 오차를 조합한 비용을 최소화하는 방식으로 모델링하기.
• 이 게임의 나시 균형을 분석하고, 유일한 균형이 존재하는 조건을 설정하기.
• 다양한 비용 함수에 대해 안정성 가격(Price of Stability)을 사용하여 균형의 효율성 평가하기.
• 일반화된 최소 제곱 추정량이 전략적 행동 조건 하에서도 최적임을 보여주는 것으로 고전적 가우스-마르코프 정리를 전략적 환경으로 확장하기.

제안 방법

• 개인을 비협력 게임의 플레이어로 모델링하여, 기밀 손실과 추정 오차를 고려한 비용 함수를 최소화하도록 노이즈 분산을 선택하도록 함.
• 비용 함수를 기밀 비용(노이즈 분산 증가에 따라 증가)과 추정 비용(모델 정확도 저하에 따라 증가)의 합으로 정의함.
• 게임 이론적 도구를 사용하여 비자명한 나시 균형의 존재성과 유일성을 증명함.
• 균형의 효율성을 최적의 집단적 결과와 비교하기 위해 안정성 가격 개념을 활용함.
• 통계 이론을 적용하여 특정 추정 비용 조건 하에서 일반화된 최소 제곱 추정량이 이 전략적 환경에서 모든 선형 무편향 추정량 중 최적임을 보임.

실험 결과

연구 질문

• RQ1 전략적 데이터 제공자가 있는 선형 회귀의 게임 이론적 모델에서 유일한 나시 균형이 존재하는가?
• RQ2 안정성 가격으로 측정할 때, 균형의 효율성은 추정 정확도와 기밀 보장 간의 상호작용 측면에서 어떻게 평가되는가?
• RQ3 일반화된 최소 제곱 추정량이 이 비협력적 환경에서 최적임이 보장되는 조건은 무엇인가?
• RQ4 기밀 비용 및 추정 비용 함수의 다양한 선택이 균형 행동과 시스템 효율성에 어떤 영향을 미치는가?
• RQ5 기본적인 가우스-마르코프 정리는 전략적 개인이 자신의 데이터에 노이즈를 첨가하는 상황에서도 유지되는가?

주요 결과

• 전략적 데이터 제공자가 있는 선형 회귀의 게임 이론적 모델에서 유일한 비자명한 나시 균형이 존재한다.
• 안정성 가격으로 측정한 균형의 효율성은 유한하며, 기밀 비용 및 추정 비용 함수의 선택에 따라 변동한다.
• 특정 추정 비용 함수 조건 하에서 일반화된 최소 제곱 추정량은 모든 선형 무편향 추정량 중 최적임을 보이며, 이는 가우스-마르코프 정리를 전략적 환경으로 확장함을 의미한다.
• 균형 상태에서의 노이즈 분산은 항상 양수이므로, 개인들은 항상 약간의 추정 정확도를 희생하여 기밀 보장을 확보한다.
• 이 모델은 전략적 행동이 특정 조건 하에서 일반화된 최소 제곱 추정량의 최적성과 핵심 통계적 보장을 손상시키지 않음을 보여준다.