[논문 리뷰] Privacy-Preserving Multi-Party Contextual Bandits

Awni Hannun, Brian Knott외 2명|arXiv (Cornell University)|2019. 10. 11.

Privacy-Preserving Technologies in Data참고 문헌 37인용 수 8

한 줄 요약

이 논문은 여러 당사자가 개인적인 문맥 특징, 선택한 액션, 보상 값을 공유하지 않고도 공동으로 문맥 기반 밴디트 모델을 훈련시킬 수 있도록 하는 프라이버시 보장 다자 간접적 밴디트 알고리즘을 제안한다. 보안 다자 계산과 에프실론-그리디 탐색 기반의 기법을 결합함으로써, 높은 학습 성능 유지를 유지하면서도 차별적 프라이버시 보장을 제공하며, 비공개 기준 대비 정확도 손실이 최소화된 강력한 이론적 프라이버시 보장을 달성한다.

ABSTRACT

Contextual bandits are online learners that, given an input, select an arm and receive a reward for that arm. They use the reward as a learning signal and aim to maximize the total reward over the inputs. Contextual bandits are commonly used to solve recommendation or ranking problems. This paper considers a learning setting in which multiple parties aim to train a contextual bandit together in a private way: the parties aim to maximize the total reward but do not want to share any of the relevant information they possess with the other parties. Specifically, multiple parties have access to (different) features that may benefit the learner but that cannot be shared with other parties. One of the parties pulls the arm but other parties may not learn which arm was pulled. One party receives the reward but the other parties may not learn the reward value. This paper develops a privacy-preserving multi-party contextual bandit for this learning setting by combining secure multi-party computation with a differentially private mechanism based on epsilon-greedy exploration.

연구 동기 및 목표

• 여러 당사자가 개인적인 문맥 특징, 선택한 액션, 보상 값을 폭 드러내지 않고도 공동으로 문맥 기반 밴디트 모델을 훈련시킬 수 있도록 하는 것.
• 당사자들이 정직하지만 호기심이 많고 공모하지 않는다는 위협 모델 하에서 각 당사자의 데이터에 대한 차별적 프라이버시를 보장하는 것.
• 보안 다자 계산 프레임워크 내에서 차별적 프라이버시가 보장되는 에프실론-그리디 탐색 기반의 탐색 메커니즘을 활용해 높은 학습 성능을 유지하는 것.
• 이론적 프라이버시 보장과 분산형 프라이버시 민감한 환경에서 알고리즘의 유효성에 대한 실증적 검증을 제공하는 것.
• 수치적 불안정성, 당사자 이탈, 사이드 채널 유출, 더 강력한 소속성 추론 공격과 같은 실용적 과제를 식별하고 해결하는 것.

제안 방법

• 알고리즘은 각 당사자의 문맥 특징이나 행동을 드러내지 않고도 정책을 공동으로 계산하기 위해 보안 다자 계산(MPC)을 사용한다.
• 에프실론-그리디 탐색 전략을 사용하며, 이는 차별적 프라이버시를 보장하기 위해 (epsilon, delta)-차별적 프라이버시 보장을 위한 탐색 확률이 조정된다.
• 정책은 연결된 문맥 특징에 대한 선형 모델을 통해 학습되며, 모델 파라미터는 프라이버시 보장 방식으로 계산된 최소 제곱 해를 사용해 업데이트된다.
• 기밀 데이터(예: 문맥 벡터, 보상)는 비밀 공유 기법을 통해 당사자 간에 분산 저장되어, 어느 한 당사자도 전체 값을 알 수 있도록 보장된다.
• 최소 제곱 해에서 역행렬을 효율적으로 업데이트하기 위해 Sherman-Morrison 공식을 사용하지만, 수치적 안정성은 제한 요소로 지적된다.
• 단 한 명의 당사자만 어떤 액션을 선택했는지 알 수 있으며, 단 한 명의 당사자만 보상을 관찰할 수 있도록 설계되어, 입력 및 출력 프라이버시를 유지한다.

실험 결과

연구 질문

• RQ1 다자 문맥 기반 밴디트를 훈련시키는 동안, 어느 당사자도 다른 당사자의 문맥 특징, 선택된 행동, 보상 값을 알 수 있도록 보장할 수 있는가?
• RQ2 보안 다자 계산 프레임워크에 차별적 프라이버시를 통합하여 문맥 기반 밴디트의 민감한 데이터를 보호할 수 있는가?
• RQ3 이 분산형 프라이버시 보장 환경에서 프라이버시 보장과 학습 성능 사이의 상호 교환 관계는 어떠한가?
• RQ4 수치적 불안정성과 당사자 이탈은 실무에서 제안된 알고리즘의 강건성에 어떤 영향을 미치는가?
• RQ5 사이드 채널 공격 또는 소속성 추론 공격이 시스템의 프라이버시를 얼마나 심각하게 위협할 수 있으며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 보안 MPC와 차별적 프라이버시가 보장되는 에프실론-그리디 탐색 기반의 탐색 메커니즘을 조합함으로써, 각 당사자의 문맥 특징에 대해 (epsilon, delta)-차별적 프라이버시 보장을 달성한다.
• 실증 평가 결과, 프라이버시 보장 모델이 비공개 기준 대비 예측 정확도가 매우 유사하며, 성능 격차는 미미한 것으로 나타났다.
• 정직하지만 호기심이 많은 위협 모델 하에서도 알고리즘이 강력한 프라이버시 보장을 유지한다. 이는 당사자들이 프로토콜을 따르지만 개인 정보 유출을 尝試할 수 있음을 의미한다.
• Sherman-Morrison 공식의 반복적 사용으로 인한 수치적 불안정성이 관찰되었으며, 안정성을 향상시키기 위해 주기적인 행렬 역행렬 계산과 정규화가 필요하다는 점이 제기된다.
• 보상 지연으로 인한 타이밍 유출과 같은 사이드 채널 공격이 잠재적 위협으로 확인되었으며, 정보 유출을 방지하기 위해 지연 시간을 무작위화하는 것이 권장된다.
• 향후 연구는 공격적 당사자, 더 큰 액션 집합, 더 강력한 소속성 추론 저항 기능을 지원하기 위해 프레임워크를 확장할 필요가 있다.