[論文レビュー] Distributed Learning, Communication Complexity and Privacy

Maria-Florina Balcan, Avrim Blum+2 more|arXiv (Cornell University)|Apr 16, 2012

Privacy-Preserving Technologies in Data参考文献 22被引用数 113

ひとこと要約

この論文は、分散PAC学習における通信複雑性を調査し、教える次元や誤り境界といった概念が通信要件に顕著に影響することを示している。決定リスト、線形分離器、パリティ関数といったクラスに対して、通信効率の良いアルゴリズムを提示しており、それぞれO(d log d)およびO(d)ビットの通信量を達成している。統計的クエリを用いることで追加の通信コストなしにプライバシーを保証している。

ABSTRACT

We consider the problem of PAC-learning from distributed data and analyze fundamental communication complexity questions involved. We provide general upper and lower bounds on the amount of communication needed to learn well, showing that in addition to VC-dimension and covering number, quantities such as the teaching-dimension and mistake-bound of a class play an important role. We also present tight results for a number of common concept classes including conjunctions, parity functions, and decision lists. For linear separators, we show that for non-concentrated distributions, we can use a version of the Perceptron algorithm to learn with much less communication than the number of updates given by the usual margin bound. We also show how boosting can be performed in a generic manner in the distributed setting to achieve communication with only logarithmic dependence on 1/epsilon for any concept class, and demonstrate how recent work on agnostic learning from class-conditional queries can be used to achieve low communication in agnostic settings as well. We additionally present an analysis of privacy, considering both differential privacy and a notion of distributional privacy that is especially appealing in this context.

研究の動機と目的

• データが複数の参加者に分散配置されている状況下で、PAC学習に必要な根本的な通信複雑性を理解すること。
• VC次元を超える概念クラスの特性、例えば教える次元や誤り境界といった、通信要件に影響を与える要因を同定すること。
• 論理積、決定リスト、線形分離器を含む特定の概念クラスに対する通信効率の良い学習アルゴリズムを開発すること。
• 追加の通信コストなしに分散環境におけるプライバシー保護型学習を可能にすること。
• ブースティングとアグノスティック学習が、1/ϵに対して対数的依存関係を示す通信量で実行可能であることを示すこと

提案手法

• 統計的クエリ（SQ）フレームワークを用いて、エージェントとその局所データ間の相互作用をシミュレートし、プライバシー保護型計算を可能にする。
• 非集中分布を活用することで、修正版ペルセプトロンアルゴリズムにより、線形分離器の通信ラウンド数をO(√(d log(d/ǫ))/ǫ²)に削減する。
• 任意の概念クラスに対して、1/ϵに対して対数的依存関係を示す分散ブースティングを適用し、通信量を最小化する。
• 各エージェントが自身のデータ分布から得られる情報量を超えて漏洩しないように保証するため、追加のラプラスノイズを含む統計的クエリによる分布的プライバシーを導入する。
• RivestとSloan（1988）の「信頼性と有用性」フレームワークを活用し、パリティ関数の非適切な学習がO(d)ビットの通信量で十分であることを示し、適切な学習ではΩ(d²)の下界があることと対照的である。
• 最小限の仮説交換を実装：中央集権がすべての局所的仮説をカバーする最小の仮説を計算することで、通信量と誤差バウンドの両方を低減する。

実験結果

リサーチクエスチョン

• RQ1 分散環境下で概念クラスを学習する際の根本的通信複雑性は何か？
• RQ2 教える次元や誤り境界といった概念クラスの特性は、通信要件にどのように影響するか？
• RQ3 ブースティングは、通信量が1/ϵに対して対数的依存関係を示す分散環境で実行可能か？
• RQ4 通信コストを増加させることなく、分散学習でプライバシーを保証できるか？
• RQ5 非集中分布下で、決定リスト、パリティ関数、線形分離器といった特定クラスの通信コストは何か？

主な発見

• 二値ドメイン{0,1}^d上の決定リストについて、通信複雑性はΘ(d log d)ビットであり、これはタイトである。
• パリティ関数について、非適切な学習では通信量がO(d)ビットにまで削減可能であり、適切な学習のΩ(d²)の下界と比べて顕著な改善である。
• 非集中分布下での線形分離器について、通信ラウンド数をO(√(d log(d/ǫ))/ǫ²)にまで削減でき、標準的なペルセプトロンのO(d/ǫ²)の更新量と比べて著しく低い。
• 分散ブースティングは、任意の概念クラスについて、通信量が1/ϵに対して対数的依存関係を示し、誤差がO(opt(H)) + ǫの範囲に収まる。
• BalcanとHanneke（2012）の結果を適応することで、アグノスティック学習は1/ϵに対してO(log(1/ϵ))の通信依存関係で実行可能である。
• M個のクエリに対して、サンプルサイズO(M² log³(M/δ)/(α²τ²))で分布的プライバシーを達成でき、統計的クエリを用いる場合、通信コストの追加なしにプライバシーを保証できる。