[논문 리뷰] Online Learning via the Differential Privacy Lens

Jacob Abernethy, Young Hun Jung외 3명|arXiv (Cornell University)|2017. 11. 27.

Advanced Bandit Algorithms Research참고 문헌 40인용 수 4

한 줄 요약

이 논문은 온라인 학습을 위한 차별적 비밀보장 기반 안정성 프레임워크를 제안하며, 한 단계 차별적 안정성(differential stability)을 활용해 전체 정보 및 부분 정보 설정에서 follow-the-perturbed-leader(FTPL) 알고리즘의 1차 수준의 리그레트 한계를 유도한다. 더불어 더 강력한 안정성 제어를 위해 Tsallis 최대발산을 도입하여 온라인 볼록 최적화(OCO), 온라인 선형 최적화(OLO), 다항 보상 밴딧, 전문가가 있는 밴딧 등 다양한 문제에서 최적 또는 근사 최적의 리그레트 한계를 달성하며, 이는 강력한 이론적 보장을 갖춘 통합된, 비밀보장에 영감을 받은 알고리즘 설계 방법을 제공한다.

ABSTRACT

In this paper, we use differential privacy as a lens to examine online learning in both full and partial information settings. The differential privacy framework is, at heart, less about privacy and more about algorithmic stability, and thus has found application in domains well beyond those where information security is central. Here we develop an algorithmic property called one-step differential stability which facilitates a more refined regret analysis for online learning methods. We show that tools from the differential privacy literature can yield regret bounds for many interesting online learning problems including online convex optimization and online linear optimization. Our stability notion is particularly well-suited for deriving first-order regret bounds for follow-the-perturbed-leader algorithms, something that all previous analyses have struggled to achieve. We also generalize the standard max-divergence to obtain a broader class called Tsallis max-divergences. These define stronger notions of stability that are useful in deriving bounds in partial information settings such as multi-armed bandits and bandits with experts.

연구 동기 및 목표

• 차별적 비밀보장 원리를 활용한 안정성 기반 온라인 학습 프레임워크를 개발함으로써, 비밀보장 자체보다는 알고리즘 안정성에 초점을 맞춘다.
• 이전 분석이 달성하지 못한, FTPL과 같은 편향 기반 알고리즘에 대해 1차 리그레트 한계를 도출하는 데 오랫동안 지속된 과제를 해결한다.
• 전체 정보(예: OCO, OLO)와 부분 정보(예: 밴딧) 설정 간의 온라인 학습 문제 분석을 하나의 안정성 프레임워크로 통합한다.
• 특히 고분산 손실 추정이 있는 부분 정보 설정에서 유용한, 더 강력한 안정성 개념으로 Tsallis γ-최대발산을 도입한다.
• DP 기반 안정성이 다양한 온라인 학습 문제에서 최적 또는 근사 최적의 리그레트 한계를 도출할 수 있음을 보여주며, OLO 및 전문가가 있는 밴딧 문제에 대해 새로운 결과를 제공한다.

제안 방법

• 온라인 학습 알고리즘에 대한 더 강력한 리그레트 분석을 가능하게 하는 새로운 알고리즘 안정성 성질인 한 단계 차별적 안정성을 도입한다.
• 차별적 비밀보장에서 유래한 목적 편향 방법을 적용하여 OCO 및 OLO에 대한 새로운 FTPL 기반 알고리즘을 설계하며, 1차 리그레트 한계를 달성한다.
• 특히 손실 추정이 큰 분산을 보이는 부분 정보 설정에서 효과적인, 새로운 가족의 Tsallis γ-최대발산을 제안한다.
• 일반화된 베이지안 사후분포 접근법(GBPA)을 사용해 랜덤화된 온라인 학습 전략을 모델링하며, 이와 차별적 안정성과 리그레트 간의 이중성 관계를 수립한다.
• 편향과 집중성의 유한성에 기반해 기대 리그레트를 안정성 항과 범위 항으로 분해함으로써 리그레트 한계를 도출한다.
• 비밀보장 예산 ϵ과 클리핑 임계값 ρ와 같은 매개변수를 조정하여 편향과 분산 간의 최적 균형을 이루며, 리그레트 한계에서 최적의 트레이드오프를 달성한다.

실험 결과

연구 질문

• RQ1 이전 분석이 달성하지 못한, FTPL 알고리즘에 대해 차별적 비밀보장 기반 안정성을 활용해 1차 리그레트 한계를 도출할 수 있는가?
• RQ2 한 단계 차별적 안정성은 어떻게 정의되고, 전체 정보 및 부분 정보 온라인 학습 문제 간의 리그레트 분석을 통합하는 데 어떻게 활용될 수 있는가?
• RQ3 다양한 손실 추정이 있는 부분 정보 설정(예: 다항 보상 밴딧)에서 Tsallis γ-최대발산은 안정성 향상과 리그레트 한계의 강화에 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 이전에 알려진 바가 없던 온라인 선형 최적화(OLO) 문제에 대해 최적 또는 근사 최적의 리그레트 한계를 도출할 수 있는가?
• RQ5 전문가가 있는 밴딧에서 다양한 편향 및 정규화 기법은 특정 수준의 안정성에 어떻게 대응하는가? 이는 EXP4와 동일한 한계를 달성할 수 있는가?

주요 결과

• 이 논문은 편향 기반 알고리즘을 사용해 온라인 선형 최적화(OLO)에 대해 알려진 바 없는 첫 번째 1차 리그레트 한계를 확립하며, O(√(T L*))의 리그레트를 달성한다. 여기서 L*은 최적 누적 손실이다.
• 온라인 볼록 최적화(OCO)의 경우, 제안된 목적 편향 기반 FTPL 알고리즘이 O(√(T L*))의 1차 리그레트 한계를 달성하며, 이는 기존에 알려진 최적의 한계와 일치하지만, 새로운 안정성 시각을 통해 유도되었다.
• Tsallis γ-최대발산의 도입은 표준 최대발산보다 더 강력한 안정성 제어를 가능하게 하며, 특히 꼬리가 두꺼운 또는 유계가 아닌 손실 추정이 있는 부분 정보 설정에서 유용하다.
• 이 프레임워크는 다항 보상 밴딧 알고리즘의 분석을 통합하여, 다양한 편향과 정규화가 특정 수준의 차별적 안정성을 유도하며 청결한 리그레트 한계를 이끌어낸다.
• 전문가가 있는 밴딧의 경우, 제안된 편향 기반 알고리즘이 EXP4 알고리즘과 동일한 최적의 0차 및 1차 리그레트 한계를 달성함으로써, 이 프레임워크의 일반성과 강력함을 입증한다.
• 분석을 통해 손실 추정에서 클리핑 전략이 ρ와 ϵ을 통해 조정될 수 있으며, 이는 편향과 분산을 균형 잡는 데 기여한다. L* > 128K log N일 경우, O(K^{1/3}(log N)^{2/3}(L*)^{2/3})의 리그레트 한계를 도출하며, 이는 로그 인자 외에는 최적이며 최적이다.