[논문 리뷰] Online Learning via Differential Privacy.

Jacob Abernethy, Chansoo Lee외 2명|arXiv (Cornell University)|2017. 11. 27.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 7

한 줄 요약

이 논문은 온라인 학습에서 더 날카운 회귀 분석을 가능하게 하기 위해 일단 차분 안정성(one-step differential stability)을 도입하며, 차분 비밀유지 기법을 활용하여 전체 정보 및 부분 정보 설정에서 follow-the-perturbed-leader 알고리즘에 대해 최초로 일차 회귀 경계를 유도한다. 또한 최대발산을 탈리스 최대발산(Tsallis max-divergences)으로 일반화하여, 밴딧 문제에서의 안정성 분석을 향상시킨다.

ABSTRACT

In this paper, we use differential privacy as a lens to examine online learning in both full and partial information settings. The differential privacy framework is, at heart, less about privacy and more about algorithmic stability, and thus has found application in domains well beyond those where information security is central. Here we develop an algorithmic property called one-step differential stability which facilitates a more refined regret analysis for online learning methods. We show that tools from the differential privacy literature can yield regret bounds for many interesting online learning problems including online convex optimization and online linear optimization. Our stability notion is particularly well-suited for deriving first-order regret bounds for follow-the-perturbed-leader algorithms, something that all previous analyses have struggled to achieve. We also generalize the standard max-divergence to obtain a broader class called Tsallis max-divergences. These define stronger notions of stability that are useful in deriving bounds in partial information settings such as multi-armed bandits and bandits with experts.

연구 동기 및 목표

• 더 나은 회귀 경계 분석을 위한 정교한 안정성 개념인 일단 차분 안정성을 개발하기 위해.
• 차분 비밀유지 기법을 온라인 볼록 최적화 및 선형 최적화에 적용하여, 기존의 비밀유지 외적 응용으로서의 알고리즘 안정성에까지 그 유효성을 확장하기 위해.
• 이전 문헌에서 해결되지 않은 문제였던 follow-the-perturbed-leader 알고리즘에 대해 최초로 일차 회귀 경계를 확보하기 위해.
• 부분 정보 설정(예: 다중 손잡이 밴딧)에서 더 강력한 안정성 보장을 위해 최대발산을 탈리스 최대발산으로 일반화하기 위해.
• 차분 비밀유지에서 유도된 향상된 안정성 측정법을 활용하여 전문가가 있는 밴딧 문제에서 더 날카운 회귀 분석을 가능하게 하기 위해.

제안 방법

• 온라인 학습 회귀 분석에 특화된 새로운 알고리즘 안정성 성질인 일종 차분 안정성을 도입한다.
• 전체 정보 설정(예: 온라인 볼록 최적화)에서 회귀 경계를 도출하기 위해 차분 비밀유지 기법을 적용한다.
• 일단 차분 안정성을 활용하여 follow-the-perturbed-leader 알고리즘에 대해 일차 회귀 경계를 확보함으로써, 이전 분석의 한계를 극복한다.
• 기존의 최대발산을 탈리스 최대발산으로 일반화하여, 부분 정보 설정에서 더 강력한 안정성 개념을 가능하게 한다.
• 밴딧 문제(다중 손잡이 밴딧 및 전문가가 있는 밴딧 포함)에 탈리스 최대발산을 적용하여 더 날카운 회귀 경계를 도출한다.
• 차분 비밀유지와 알고리즘 안정성 간의 연결 고리를 활용하여, 온라인 학습 프레임워크 전반에서 회귀 분석을 통합하고 강화한다.

실험 결과

연구 질문

• RQ1 일단 차분 안정성은 온라인 학습 알고리즘에 대해 더 날카운 회귀 경계를 도출하는 데 사용될 수 있는가?
• RQ2 차분 비밀유지 도구는 비밀유지 문제 외의 분석을 향상시키기 위해 재사용될 수 있는가?
• RQ3 왜 이전 분석들은 follow-the-perturbed-leader에 대해 일차 회귀 경계를 도출하지 못했으며, 일종 안정성은 이를 해결할 수 있는가?
• RQ4 탈리스 최대발산과 같은 일반화된 발산은 부분 정보 설정에서 안정성과 회귀 경계를 향상시킬 수 있는가?
• RQ5 차분 비밀유지에서 유도된 안정성 프레임워크는 전문가가 있는 밴딧 문제로 얼마나 넓게 확장될 수 있는가?

주요 결과

• 일단 차분 안정성은 follow-the-perturbed-leader 알고리즘에 대해 최초로 일차 회귀 경계를 도출할 수 있게 하여, 기존 문헌에서 오랫동안 해결되지 않았던 한계를 해소한다.
• 차분 비밀유지 도구의 적용은 비밀유지 보장 외의 맥락에서도 온라인 볼록 최적화 및 선형 최적화에서 개선된 회귀 경계를 도출한다.
• 탈리스 최대발산은 기존 최대발산을 일반화하여, 다중 손잡이 밴딧과 같은 부분 정보 설정에서 더 강력한 안정성 보장을 제공한다.
• 제안된 안정성 프레임워크는 전문가가 있는 밴딧 문제에서 더 날카운 회귀 분석을 가능하게 하며, 향상된 발산 측정법을 통해 기존 경계를 초월한다.
• 차분 비밀유지와 알고리즘 안정성 간의 관계가 정밀하게 형식화되고, 이를 통해 다양한 온라인 학습 모델 전반에서 회귀 분석을 통합하고 강화한다.
• 정교한 안정성 개념과 일반화된 발산을 활용하여, 전체 정보 및 부분 정보 설정 양쪽에서 증명 가능한 더 나은 회귀 성능을 달성한다.