[論文レビュー] Online Learning via the Differential Privacy Lens

Jacob Abernethy, Young Hun Jung+3 more|arXiv (Cornell University)|Nov 27, 2017

Advanced Bandit Algorithms Research参考文献 40被引用数 4

ひとこと要約

本稿は、オンライン学習における微分プライバシーにインspiredされた安定性フレームワークを導入し、1ステップ差分安定性を用いて、完全情報および部分情報設定下でのフォローザプルティッドレーダー（FTPL）アルゴリズムの1次レジストバウンドを導出する。Tsallis最大発散を導入することで、より緊密な安定性制御を実現し、オンライン凸最適化（OCO）、オンライン線形最適化（OLO）、マルチアームドバンディット、エキスパートを伴うバンディットなど、多様な問題に対して最適または近似的に最適なレジストバウンドを達成する。本研究は、理論的保証が強く、一貫性のあるプライバシーにインspiredされたアルゴリズム設計の統一的枠組みを提供する。

ABSTRACT

In this paper, we use differential privacy as a lens to examine online learning in both full and partial information settings. The differential privacy framework is, at heart, less about privacy and more about algorithmic stability, and thus has found application in domains well beyond those where information security is central. Here we develop an algorithmic property called one-step differential stability which facilitates a more refined regret analysis for online learning methods. We show that tools from the differential privacy literature can yield regret bounds for many interesting online learning problems including online convex optimization and online linear optimization. Our stability notion is particularly well-suited for deriving first-order regret bounds for follow-the-perturbed-leader algorithms, something that all previous analyses have struggled to achieve. We also generalize the standard max-divergence to obtain a broader class called Tsallis max-divergences. These define stronger notions of stability that are useful in deriving bounds in partial information settings such as multi-armed bandits and bandits with experts.

研究の動機と目的

• 微分プライバシーの原則を応用した安定性ベースのオンライン学習フレームワークを構築すること。本研究の焦点はプライバシーそのものではなく、アルゴリズムの安定性に置かれる。
• FTPLのような摂動ベースのアルゴリズムに対して、従来の解析では達成できなかった1次レジストバウンドを導出するという、長年の課題に取り組むこと。
• 完全情報（例：OCO、OLO）と部分情報（例：バンディット）の両設定におけるオンライン学習問題の解析を、同一の安定性フレームワークで統一すること。
• 特に、高分散の損失推定が生じる部分情報設定において有効な、より強い安定性概念としてのTsallis γ-最大発散を導入すること。
• DPにインspiredされた安定性が、オンライン凸最適化、オンライン線形最適化、マルチアームドバンディット、エキスパートを伴うバンディットなど、多様なオンライン学習問題において最適または近似的に最適なレジストバウンドを達成できることを示すこと。

提案手法

• 1ステップ差分安定性を新たなアルゴリズム的安定性特性として導入し、オンライン学習アルゴリズムのレジスト解析をより緊密に行えるようにする。
• 微分プライバシー分野の「目的関数摂動法」を応用し、OCOおよびOLOの新しいFTPLベースのアルゴリズムを設計。これにより、1次レジストバウンドを達成する。
• 部分情報設定における大きな損失推定に対して特に効果的な、新たなTsallis γ-最大発散の族を提案。安定性制御を強化する。
• 一般化ベイズ後確率的アプローチ（GBPA）を用いて、確率的オンライン学習戦略をモデル化。これにより、双対性を介して差分安定性とレジストを結びつける。
• 期待レジストを安定性項と範囲項に分解し、摂動の集中性と有界性を活用してレジストバウンドを導出する。
• プライバシー予算 ϵ やクリッピングしきい値 ρ などのパラメータを調整し、バイアスとバイアスのトレードオフを最適化し、最適なレジストバウンドを達成する。

実験結果

リサーチクエスチョン

• RQ1 微分プライバシーにインスパイアされた安定性を用いて、従来の解析が達成できなかったFTPLアルゴリズムの1次レジストバウンドを導出できるか？
• RQ2 1ステップ差分安定性はどのように形式化され、完全情報と部分情報の両方のオンライン学習問題におけるレジスト解析を統一的に扱えるか？
• RQ3 マルチアームドバンディットのような部分情報設定において、Tsallis γ-最大発散は安定性の向上とレジストバウンドのタイトニングに果たす役割は何か？
• RQ4 提案フレームワークにより、1次レジストバウンドが未知であったオンライン線形最適化（OLO）問題に対しても最適または近似的に最適なバウンドが得られるか？
• RQ5 エキスパートを伴うバンディットにおける、異なる摂動および正則化スキームは、特定の安定性レベルに対応するか。また、それらはEXP4と同等のバウンドを達成できるか？

主な発見

• 本稿は、摂動ベースのアルゴリズムを用いて、オンライン線形最適化（OLO）に対して、初めて知られる1次レジストバウンド O(√(T L*)) を確立した。ここで L* は最適な累積損失を表す。
• オンライン凸最適化（OCO）において、提案された目的関数摂動ベースのFTPLアルゴリズムは、O(√(T L*)) の1次レジストバウンドを達成し、既知の最適バウンドと一致するが、新規な安定性の視点から導出された。
• Tsallis γ-最大発散の導入により、標準の最大発散よりもより緊密な安定性制御が可能となり、特に重尾または有界でない損失推定が生じる部分情報設定で顕著な利点を示す。
• 本フレームワークは、マルチアームドバンディットアルゴリズムの解析を統一的に扱い、さまざまな摂動と正則化子が特定の差分安定性レベルを誘発し、洗練されたレジストバウンドを導くことを示した。
• エキスパートを伴うバンディットにおいて、提案された摂動ベースのアルゴリズムは、EXP4と同等の最適なゼロ次および1次レジストバウンドを達成した。これにより、本フレームワークの一般性と強力さが示された。
• 解析により、損失推定におけるクリッピング戦略は ρ と ϵ を用いて調整可能であり、バイアスとバイアスのトレードオフを最適化できることが判明。L* > 128K log N の場合、レジストバウンドが O(K^{1/3}(log N)^{2/3}(L*)^{2/3}) となり、対数要因を除いて最適であることが示された。