[논문 리뷰] Mitigating Bias in Adaptive Data Gathering via Differential Privacy

Seth Neel, Aaron Roth|arXiv (Cornell University)|2018. 06. 06.

Advanced Bandit Algorithms Research참고 문헌 28인용 수 4

한 줄 요약

이 논문은 적응형 데이터 수집(예: 밴딧 알고리즘과 같은)에 차별적 프라이버시를 적용하여 경험적 추정치의 체계적 편향과 잘못된 통계적 추론을 완화하는 것을 제안한다. 선택 결정 과정이 차별적 프라이버시를 만족하도록 보장함으로써 평균 추정치의 편향을 제한하고, 유효한 p-값 보정을 가능하게 하여 확률적 및 선형 연역적 밴딧 설정 모두에서 거의 최적의 손실을 달성한다. 이는 강력한 이론적 보장과 함께 실현 가능하다.

ABSTRACT

Data that is gathered adaptively --- via bandit algorithms, for example --- exhibits bias. This is true both when gathering simple numeric valued data --- the empirical means kept track of by stochastic bandit algorithms are biased downwards --- and when gathering more complicated data --- running hypothesis tests on complex data gathered via contextual bandit algorithms leads to false discovery. In this paper, we show that this problem is mitigated if the data collection procedure is differentially private. This lets us both bound the bias of simple numeric valued quantities (like the empirical means of stochastic bandit algorithms), and correct the p-values of hypothesis tests run on the adaptively gathered data. Moreover, there exist differentially private bandit algorithms with near optimal regret bounds: we apply existing theorems in the simple stochastic case, and give a new analysis for linear contextual bandits. We complement our theoretical results with experiments validating our theory.

연구 동기 및 목표

• 선택된 데이터 포인트가 이전 관측치에 의존함으로써 경험적 추정치가 왜곡되고 잘못된 발견이 발생하는 적응형 데이터 수집의 체계적 편향 문제를 해결한다.
• 복잡한 후처리가 필요하거나 특정 모델에 국한되는 기존의 편향 보정 방법의 한계를 극복하기 위해, 차별적 프라이버시를 활용한 일반적이고 원칙적인 접근법을 제안한다.
• 단순한 확률적 밴딧과 선형 연역적 밴딧에 대해 편향에 대한 이론적 경계를 제공하여, 추가적인 편향 보정 절차 없이도 강건성을 확보한다.
• 특히 순차적 실험에서 가설 검정에 필수적인, 보정된 p-값을 포함한 유효한 통계적 추론을 적응형으로 수집된 데이터에 적용할 수 있도록 한다.
• 거의 최적의 손실과 강력한 편향 보장을 동시에 확보하는 차별적 프라이버시 밴딧 알고리즘을 개발하여 실제 적응형 학습 시스템에 적용 가능하게 한다.

제안 방법

• 밴딧 알고리즘의 선택 메커니즘에 차별적 프라이버시를 적용하여, 탐색 또는 이용을 위한 결정이 관측된 보상에 대해 약하게 의존하도록 보장함으로써 정보 泄露를 제한한다.
• 차별적 프라이버시와 적응형 데이터 분석 간의 연결 고리를 활용하여, Dwork 등(2015)의 최대 정보 기법을 활용해 확률적 밴딧에서 경험적 평균의 편향을 제한한다.
• 비공개 UCB 알고리즘(개인정보 보호 UCB)을 설계하여, 경험적 평균의 편향을 $ O(1/\sqrt{K \cdot T}) $ 수준으로 유지함으로써 비공개 UCB보다 훨씬 낮은 편향을 달성한다.
• 보상 기반 결정이 차별적 프라이버시를 만족하도록 하되, 맥락은 공개로 허용함으로써 선형 연역적 밴딧에 프레임워크를 확장하여 이전의 개인 정보 보호 연역적 밴딧 방법보다 정확도를 향상시킨다.
• 기존의 프라이버시 기반 적응형 분석 도구(예: 최대 정보 경계)를 활용해 적응형으로 수집된 데이터에 대한 가설 검정에서 p-값을 보정하여, 제1종 오류 제어가 유효하도록 한다.
• 몬테카를로 시뮬레이션을 통해 이론적 주장의 타당성을 검증하고, 비공개 및 비공개가 아닌 밴딧 알고리즘 간의 편향, 손실, p-값 분포 지표를 비교한다.

실험 결과

연구 질문

• RQ1 확률적 밴딧 설정에서 적응형 데이터 수집에 의해 생성된 경험적 평균 추정치의 편향을 차별적 프라이버시로 제한할 수 있는가?
• RQ2 차별적 프라이버시는 연역적 밴딧과 같은 적응형 절차를 통해 수집된 데이터에 대해 유효한 통계적 추론—특히 보정된 p-값—을 가능하게 하는가?
• RQ3 차별적 프라이버시 밴딧 알고리즘은 거의 최적의 손실을 달성하면서도 同시에 추정된 암 보상 평균의 낮은 편향을 보장할 수 있는가?
• RQ4 확률적 및 선형 연역적 설정 모두에서 비공개 및 비공개가 아닌 밴딧 알고리즘 간의 경험적 평균과 p-값의 편향은 어떻게 다를까?
• RQ5 차별적 프라이버시에서 유도된 편향 이론적 경계가 실질적으로 얼마나 유지되는가? 그리고 시뮬레이션에서의 경험적 관측과 비교해보면 어떠한가?

주요 결과

• 20개의 암을 500라운드 동안 사용한 실험에서, 비공개 UCB는 평균 절대 편향이 0.0698이었지만, 개인정보 보호 UCB는 0.00176으로 떨어져 40배 이상 낮은 편향을 기록했다.
• 두 번째 실험에서 $ K=5 $, $ T=100,000 $, $ \epsilon=400 $ 조건에서 비공개 UCB는 암당 평균 편향 0.011을 기록했지만, 개인정보 보호 UCB는 0.0015로 나타나 7.5배 이상 낮은 편향을 보였다.
• 비공개 UCB에서 가장 편향이 심한 암은 약 0.14의 편향을 보였으며, 이는 강한 음의 왜곡을 의미하지만, 개인정보 보호 UCB는 이러한 왜곡이 없었고, 편향은 통계적으로 0과 구분되지 않았다.
• 선형 연역적 밴딧에서 비공개 UCB는 영 회귀 계수에 대한 z-검정에서 76%의 잘못된 발견률을 보였으며(귀무가설이 참일 때), 적응성으로 인한 심각한 p-값 과대평가가 발생했다.
• 비공개 UCB 하에서의 p-값 분포는 강하게 아래로 쏠려 있었고, 76%의 p-값이 0.05 이하였지만, 귀무가설 하에서 이론적 기대는 5%이므로, 이는 유효하지 않은 추론을 확인한다.
• 개인정보 보호 UCB는 비공개 UCB와 유사한 비선형 손실을 유지하여, 테스트된 설정에서 프라이버시의 비용이 학습 효율성에 영향을 주지 않음을 보여주었다.