[論文レビュー] Learning over inherently distributed data

Donghui Yan, Ying Xu|arXiv (Cornell University)|Jul 30, 2019

Privacy-Preserving Technologies in Data参考文献 47被引用数 4

ひとこと要約

本稿では、通信量を抑えるためのフレームワークを提案する。このフレームワークは、歪みを最小化する局所的変換を用いて、各サイトの分散データを小さな局所的シグネチャに変換することで、並列な局所的計算を可能にするとともに、データの機微性を保全する。この手法により、局所的シグネチャのサイズが増大するに従い、漸近的に誤差が消えることが保証され、線形回帰やランダムフォレストといった連続性に基づくモデルに対して理論的保証が得られる。

ABSTRACT

The recent decades have seen a surge of interests in distributed computing. Existing work focus primarily on either distributed computing platforms, data query tools, or, algorithms to divide big data and conquer at individual machines etc. It is, however, increasingly often that the data of interest are inherently distributed, i.e., data are stored at multiple distributed sites due to diverse collection channels, business operations etc. We propose to enable learning and inference in such a setting via a general framework based on the distortion minimizing local transformations. This framework only requires a small amount of local signatures to be shared among distributed sites, eliminating the need of having to transmitting big data. Computation can be done very efficiently via parallel local computation. The error incurred due to distributed computing vanishes when increasing the size of local signatures. As the shared data need not be in their original form, data privacy may also be preserved. Experiments on linear (logistic) regression and Random Forests have shown promise of this approach. This framework is expected to apply to a general class of tools in learning and inference with the continuity property.

研究の動機と目的

• 組織的・運用的・プライバシー的制約により、データが複数のサイトに本質的に分散している状況において、機械学習を実行する課題に対処すること。
• データを中央集積可能であると仮定するか、計算の効率性のためだけに分散化する従来の分散コンピューティング手法の限界を克服すること。
• 生データを送信せずに正確な学習と推論を可能にするフレームワークを開発すること。通信量を最小限に抑え、データの機微性を保全すること。
• 局所的シグネチャのサイズが増大するに従い、分散計算に起因する誤差が消えるという理論的保証を提供することにより、統計的一致性を確保すること。

提案手法

• 各分散サイトからのデータを、歪みを最小化する局所的変換によってコンパクトな局所的シグネチャにマッピングする一般化されたフレームワークを提案する。
• 空間分割木（例：k-d 樹木）を用い、再帰的にデータを分割することで、セルの直径が減少するようにする。カットは統計的連続性を維持するように定義する。
• 「良いカット」とは、真のメジアンの $\sqrt{1+\epsilon}/2$ 倍以内にノードの確率質量を分割するカットを定義する。これにより、バランスの取れた分割が保証される。
• ノードサイズが増大するに従い、悪いカットの確率が指数関数的に減少することを確立し、高確率でレベル $k$ まで完全な木が得られることを示す。
• 単調変換の下で意思決定木が不変であるという性質を活用し、一様な周辺分布を仮定することで、直径の縮小解析を可能にする。
• データポイント $X$ を含むセルの直径が、分割レベル数 $k$ が増加するに従い確率的にゼロに収束することを証明する。これにより収束が保証される。

実験結果

リサーチクエスチョン

• RQ1 本質的に分散されたデータ上で、生データを跨いで送信せずに、正確な学習と推論を実行できるか？
• RQ2 共有される局所的シグネチャのサイズが増大するに従い、分散計算に起因する誤差がどのようにして減少するかを保証できるか？
• RQ3 本フレームワーク下での学習モデルの一貫性について、どのような理論的保証を提供できるか、特に連続性の性質を持つモデルについて。
• RQ4 異なる非同一のデータソースから分散して学習を実行するにあたり、どのようにしてデータの機微性を保全しつつ、効果的なモデル学習を可能にするか？
• RQ5 空間分割木が、局所的近似がグローバルモデルに収束することを保証する役割を果たす仕組みは何か？

主な発見

• 局所的シグネチャのサイズが増大するに従い、学習と推論における誤差が漸近的に消える。誤差は $\min(k_1, ..., k_J) \to \infty$ のとき $\rightarrow 0$ に収束する。
• 空間分割木における悪いカットの確率はノードサイズが増大するに従い指数関数的に減少し、高確率でレベル $k$ まで完全な木が得られる。
• 分割レベル数 $k$ が増加するに従い、データポイント $X$ を含むセルの直径は確率的にゼロに収束する。これは繰り返し「良いカット」が行われるためである。
• 本手法は通信効率が高く、生データの送信を回避するため、プライバシー保護が可能である。
• 実験により、線形（ロジスティック）回帰およびランダムフォレストへの応用が成功したことが示され、実用的有望性が裏付けられた。
• 理論的解析により、本フレームワークが連続性の性質を持つ学習ツールの一般クラスに適用可能であり、統計的一致性が保証されることを確認した。