[논문 리뷰] Truthful Linear Regression

Rachel Cummings, Stratis Ioannidis외 1명|arXiv (Cornell University)|2015. 06. 10.

Privacy-Preserving Technologies in Data참고 문헌 11인용 수 25

한 줄 요약

이 논문은 개인이 개인정보를 보호하려는 경향이 있는 환경에서 선형 회귀를 위한 정직한 메커니즘을 제안한다. 비밀성 보장 계산과 피어 예측 기반 지급 방식을 조합함으로써, 이 메커니즘은 渐진적으로 정직한 보고를 보장하고 정확한 추정을 실현하며 참가자 수가 증가함에 따라 총 지급 예산이 점점 줄어든다.

ABSTRACT

We consider the problem of fitting a linear model to data held by individuals who are concerned about their privacy. Incentivizing most players to truthfully report their data to the analyst constrains our design to mechanisms that provide a privacy guarantee to the participants; we use differential privacy to model individuals' privacy losses. This immediately poses a problem, as differentially private computation of a linear model necessarily produces a biased estimation, and existing approaches to design mechanisms to elicit data from privacy-sensitive individuals do not generalize well to biased estimators. We overcome this challenge through an appropriate design of the computation and payment scheme.

연구 동기 및 목표

• 개인의 개인정보 보호에 민감한 환경에서 선형 회귀 설정에서 정직한 데이터 확보 문제를 해결한다.
• 기존의 인센티브 호환 메커니즘을 약화시키는, 차등적 비밀유지 선형 추정기의 본질적 편향을 극복한다.
• 정확성을 유지하면서도 참가자가 정직하게 보고하도록 유도하는 메커니즘을 설계한다.
• 참가자 참여를 유도하기 위해 필요한 총 지급 예산을 최소화하여 渐진적 예산 효율성을 달성한다.
• 차등적 비밀유지에서 발생하는 편향된 추정기와도 작동하는 피어 예측 메커니즘을 일반화한다.

제안 방법

• 개인의 비밀성 손실을 모델링하고 제한하기 위해 차등적 비밀유지를 사용하여 데이터 보고를 보호한다.
• 추정의 안정성과 수렴 보장을 위해 강한 볼록성을 갖춘 정규화된 손실 함수를 도입한다.
• 다른 개인들의 보고 일관성에 기반해 지급을 계산하기 위해 피어 예측 메커니즘을 적용한다.
• 개인의 인centive를 정확한 모델 추정 목표와 일치시킴으로써 정직한 보고를 보상하는 지급 체계를 설계한다.
• 차등적 비밀유지의 조합 성질을 활용하여 오류 보고로 인한 기대 효용 손실을 제한한다.
• 참가자 수가 증가함에 따라 정직한 보고의 기대 효용이 오류 보고의 기대 효용을 초월하는 간격이 커지도록 보장한다.

실험 결과

연구 질문

• RQ1 참가자가 개인정보 보호에 민감한 상황에서 선형 회귀에서 정직한 보고를 유도할 수 있는 메커니즘이 설계될 수 있는가?
• RQ2 필수적으로 편향을 유발하는 차등적 비밀유지는 정직한 보고 유도 인센티브와 어떻게 조화될 수 있는가?
• RQ3 편향된 추정기에도 불구하고 정직한 보고가 지배 전략이 되도록 보장하는 지급 체계는 무엇인가?
• RQ4 참가자 수가 증가함에 따라 총 지급 예산을 渐진적으로 작게 만들 수 있는가?
• RQ5 참가자 수가 증가함에 따라 메커니즘이 추정 정확성을 유지하는가?

주요 결과

• 제안된 메커니즘은 渐진적 정직성을 달성하여, 참가자가 자신의 데이터를 오해의 소지가 있는 방식으로 보고할 유인이 없다.
• 참가자 수가 증가함에 따라 추정기의 제곱 L2 거리가 진짜 모델에 수렴하여 정확성을 보장한다.
• 참가자 수가 증가함에 따라 메커니즘이 요구하는 총 지급 예산은 0에 수렴하여 渐진적 예산 효율성을 달성한다.
• 메커니즘은 대부분의 참가자에게 양의 효용을 보장하여 참여를 유도한다.
• 이론적 분석을 통해 차등적 비밀유지와 피어 예측이 결합되어 정직하고 정확한 회귀 메커니즘을 도출할 수 있음을 확인한다.
• 비밀비용 분포에 대한 약한 가정과 정규화된 손실 함수의 강한 볼록성에 대해 메커니즘이 강건함을 보장한다.