[論文レビュー] Cooperative Autonomous Online Learning

Yan Feng, S. V. N. Vishwanathan+1 more|arXiv (Cornell University)|Jun 21, 2010

Privacy-Preserving Technologies in Data被引用数 3

ひとこと要約

本稿では、自律的な学習者が分散データを用いて局所モデルを更新し、ネットワークを介して隣接する学習者と情報交換を行う協調的で分散型のオンライン学習フレームワークを提案する。強い凸関数に対してレグレットバウンドを確立し、内在的プライバシー保護を証明する。接続性が1より大きいネットワークでは、悪意あるノードが他の学習者のサブ勾配や生データを再構築できないため、プライバシー感受性の高い応用に適している。

ABSTRACT

Online learning has become increasingly popular on handling massive data. The sequential nature of online learning, however, requires a centralized learner to store data and update parameters. In this paper, we consider online learning with {\em distributed} data sources. The autonomous learners update local parameters based on local data sources and periodically exchange information with a small subset of neighbors in a communication network. We derive the regret bound for strongly convex functions that generalizes the work by Ram et al. (2010) for convex functions. Most importantly, we show that our algorithm has \emph{intrinsic} privacy-preserving properties, and we prove the sufficient and necessary conditions for privacy preservation in the network. These conditions imply that for networks with greater-than-one connectivity, a malicious learner cannot reconstruct the subgradients (and sensitive raw data) of other learners, which makes our algorithm appealing in privacy sensitive applications.

研究の動機と目的

• 中央集権的な保存ではなく、分散データソースからのオンライン学習の課題に対処すること。
• 自律的学習者が局所パラメータを更新し、他の学習者との通信を限定された近隣ノードのサブセットに制限する協調的学習システムを設計すること。
• 従来の凸関数に対する研究を拡張し、強い凸関数に対するレグレットバウンドを確立すること。
• 悪意ある学習者に対する内在的プライバシー保護が成立する条件を分析・証明すること。
• ネットワークの接続性が1より大きいことで、サブ勾配や生データが敵対者によって再構築できないことを示すこと。

提案手法

• 学習者は自律的に動作し、中央集権的な調整なしに自らのデータストリームを用いて局所モデルを更新する。
• 所定の通信ネットワーク内において、学習者とその近隣ノードの小さなサブセットとの間で定期的に通信が行われる。
• アルゴリズムは、Ramら（2010）の手法を強い凸関数に一般化した分散最適化フレームワークを用いる。
• レグレットバウンドは、分散環境下での強い凸損失関数に特化した収束解析を用いて導出される。
• プライバシー保護はサブ勾配再構築攻撃を前提に分析され、接続性＞1が機密データの再構築を防ぐことを証明する。
• ネットワーク構造と情報フローに基づき、プライバシーの理論的条件が必要十分として導出される。

実験結果

リサーチクエスチョン

• RQ1 複数の自律的学習者と分散データソースを持つ状況で、オンライン学習をどのように効果的に分散化できるか？
• RQ2 協調的で分散型のオンライン学習システムにおいて、強い凸関数のレグレットバウンドは何か？
• RQ3 通信ネットワークのどのような構造的特性がサブ勾配再構築攻撃に対するプライバシー保護を保証するか？
• RQ4 どのような条件下で、システムは悪意ある学習者に対して証明可能なプライバシーを提供するか？
• RQ5 ネットワークの接続性が1より大きい場合、サブ勾配から機密データを再構築する能力にどのような影響を与えるか？

主な発見

• 提案されたアルゴリズムは、Ramら（2010）の凸関数に関する先行研究を拡張し、強い凸関数に対するレグレットバウンドを達成する。
• システムは内在的プライバシー保護を示し、悪意ある学習者が他の学習者のサブ勾配や生データを再構築できないことを意味する。
• 接続性が1より大きいネットワークでは、プライバシー保護の条件が必要十分である。
• このようなネットワークではサブ勾配再構築攻撃に失敗し、機密データが保護されることを保証する。
• プライバシー保証は暗号的オフスカレーションに依存せず、ネットワークトポロジーに依存する構造的特性に基づく。