[논문 리뷰] Differentially-Private Federated Linear Bandits

Abhimanyu Dubey, Alex Pentland|arXiv (Cornell University)|2020. 10. 22.

Advanced Bandit Algorithms Research참고 문헌 51인용 수 32

한 줄 요약

FedUCB를 도입하는 차등 개인 정보 보호를 갖춘 연합형 상황적 선형 밴딩 알고리즘으로, 중앙집중형 및 분산형 설정에서의 후회(제한) 및 프라이버시 보장, 통신 복잡도 분석을 제공합니다.

ABSTRACT

The rapid proliferation of decentralized learning systems mandates the need for differentially-private cooperative learning. In this paper, we study this in context of the contextual linear bandit: we consider a collection of agents cooperating to solve a common contextual bandit, while ensuring that their communication remains private. For this problem, we devise extsc{FedUCB}, a multiagent private algorithm for both centralized and decentralized (peer-to-peer) federated learning. We provide a rigorous technical analysis of its utility in terms of regret, improving several results in cooperative bandit learning, and provide rigorous privacy guarantees as well. Our algorithms provide competitive performance both in terms of pseudoregret bounds and empirical benchmark performance in various multi-agent settings.

연구 동기 및 목표

• 분산형(연합형) 상황적 밴딩에서 실제적인 개인 정보 보호 협력 학습을 촉진한다.
• 다중 에이전트 상황적 밴딩에 대한 연합형 차등 프라이버시를 형식적으로 정의한다.
• 프라이버시 보장을 갖춘 중앙집중형 및 분산형 설정에 대한 FedUCB 변형을 제안한다.
• 프라이버시 제약 하에서 후회 상한과 통신 복잡도를 분석한다.
• 다중 에이전트 네트워크에서 프라이버시 예산이 성능에 미치는 영향을 제시한다.

제안 방법

• 시계변화 타원형 신뢰구간과 UCB를 구성하여 LinUCB를 연합 설정으로 확장한다.
• 그람 행렬과 보상 벡터를 프라이버시 보호 노이즈로 섞어 차등 프라이버시를 만족시킨다.
• 프라이버시화된 전역 통계를 동기화하고 이질성을 제어하는 컨트롤러를 갖춘 중앙집중형 FedUCB를 개발한다.
• 지연된 로컬 동기화와 감마 지연 프로토콜을 갖춘 분산형 P2P 네트워크에 FedUCB를 적응시킨다.
• 누적 통계의 비공개 공개를 위한 트리 기반 메커니즘을 구현하는 Privatizer 하위 루틴을 도입한다.
• 프라이버시 매개변수(ε, δ)를 탐색, 통신 및 네트워크 토폴로지에 연결하는 후회 상한을 도출한다.

실험 결과

연구 질문

• RQ1 중앙집중형과 분산형 설정에서 모두 작동하는 맥락적 선형 밴딧에 대해 차등 프라이버시를 갖는 연합 알고리즘을 어떻게 설계할 수 있는가?
• RQ2 다중 에이전트 밴딧 학습에 프라이버시 제약이 부여될 때의 후회 보장(그룹 의사후회)은 무엇인가?
• RQ3 연합형 상황 밴딧에서 통신은 프라이버시 예산 및 후회와 어떻게 관련되는가?
• RQ4 프라이버시를 보장하는 연합형 밴딧 성능에 네트워크 토폴로지와 동기화가 미치는 영향은 무엇인가?
• RQ5 제안된 FedUCB 프레임워크가 프라이버시 제약 하에서 비프라이버스 다중 에이전트 상황 밴딧과 비슷한 거의 최적의 속도를 달성할 수 있는가?

주요 결과

• 중앙집중형 FedUCB는 T 및 M 의존도에서 다항로그 요인을 제외하고 비프라이버스 경계에 거의 일치하는 고확률 그룹 의사후회 경계를 달성한다.
• 분산형 FedUCB는 지연 인식 및 토폴로지 의존 경계를 도입하며 통신 그래프의 지름 기반 요소를 포함한다.
• 프레임워크는 트리 기반 차등 프라이버시 메커니즘에 기반한 Privatizer 하위루틴을 통해 연합 맥락과 보상에 대한 명시적 프라이버시 보장을 제공한다.
• 통신 라운드와 후회 사이의 트레이드오프가 확립된다: 동기화가 적을수록 후회는 증가하고, 더 자주 동기화하면 유용성이 향상될 수 있다.
• 분석은 프라이버시 예산과 섭동의 스펙트럼 특성을 연결하여 ε, δ가 섭동 설계의 ρ_min, ρ_max, κ를 통해 후회에 미치는 영향을 보인다.
• 통신 복잡도 경계는 동기화 횟수와 차원, 수평선, 프라이버시 매개변수를 연결하여 실용적 배치를 위한 지침을 제공한다.