[論文レビュー] Data collaboration analysis for distributed datasets

Akira Imakura, Tetsuya Sakurai|arXiv (Cornell University)|Feb 20, 2019

Privacy-Preserving Technologies in Data参考文献 9被引用数 4

ひとこと要約

本稿では、データのプライバシーを保ちながら、中央集権的なモデル共有を回避する分散データセット向けのデータ協働分析手法を提案する。各機関固有の中間表現（非共有のマッピング関数により生成）を中央集権的に集約するが、元のデータやモデルパラメータは共有しない。アンカーデータとSVDに基づく変換を用いてこれらの表現を共通の協働空間に整列させることで、原始データやモデルパラメータの共有なしに集中学習を可能にし、個々の分析結果を上回る予測性能を達成する。

ABSTRACT

In this paper, we propose a data collaboration analysis method for distributed datasets. The proposed method is a centralized machine learning while training datasets and models remain distributed over some institutions. Recently, data became large and distributed with decreasing costs of data collection. If we can centralize these distributed datasets and analyse them as one dataset, we expect to obtain novel insight and achieve a higher prediction performance compared with individual analyses on each distributed dataset. However, it is generally difficult to centralize the original datasets due to their huge data size or regarding a privacy-preserving problem. To avoid these difficulties, we propose a data collaboration analysis method for distributed datasets without sharing the original datasets. The proposed method centralizes only intermediate representation constructed individually instead of the original dataset.

研究の動機と目的

• 分散データセット上で中央集権的な原始データやモデルパラメータの共有なしに協働機械学習を可能にすること。
• 医療など感受性の高い分野を含む大規模で分散型のデータ分析におけるプライバシーとスケーラビリティの課題に対処すること。
• 複数の分散データセットからのインサイトを統合することで、個々の機関の分析結果を上回る予測性能を向上させること。
• 暗号技術や微分散プライバシーに依存しない手法を開発し、計算負荷を低減すること。
• マッピング関数を共有しないため、中間表現から元のデータを再構築できないようにすること。

提案手法

• 各機関は、独自の非可逆的マッピング関数 $f_i$ を用いて、機関固有の中間表現 $\widetilde{X}_i = f_i(X_i)$ を計算する。
• アンカーデータ（公開またはダミー）を用いて共通の基準空間を構築する：$\widetilde{X}_i^{\text{anc}} = f_i(X^{\text{anc}})$。
• すべての機関からの中間表現を中央集権的に集約し、行列 $[\widetilde{X}_1^{\text{anc}}, \dots, \widetilde{X}_d^{\text{anc}}]$ に統合する。
• この統合行列に特異値分解（SVD）を適用し、左特異ベクトル $U_1$ を抽出することで、整列のための共有基底を形成する。
• 各機関ごとに、自らの中間表現 $\widetilde{X}_i$ を共通の協働空間にマッピングする変換行列 $G_i = U_1^T (\widetilde{X}_i^{\text{anc}})^\dagger$ を計算する。
• 整列済み表現 $\widehat{X}_i = G_i \widetilde{X}_i$ を統合し、グローバルなトレーニングセット $\widehat{X}$ を作成し、これを用いてモデル $h$ を、教師ラベル $L$ とともに学習する。

実験結果

リサーチクエスチョン

• RQ1 原始データの共有なしに、協働学習を可能にすることで分散データセットにおける予測性能を向上させられるか？
• RQ2 機関固有のマッピング関数を用いた異なる機関の間で中間表現を共通の利用可能な空間に整列させることは可能か？
• RQ3 フェデレーテッドラーニングにおけるモデル中央集権化や暗号技術に起因するプライバシーリスクを回避できるか？
• RQ4 本手法は、個々の分析や完全に中央集権的な学習と比較してどの程度有効か？
• RQ5 アンカーデータとSVDに基づく変換を用いることで、データプライバシーを確保しながらも、表現の有効性を保持できるか？

主な発見

• 提案手法により、原始データやモデルパラメータの共有なしに、分散データセット上で集中学習を実現できる。これは、機関固有の中間表現を共通の協働空間に整列させることで達成される。
• マッピング関数 $f_i$ を共有しないため、中間表現から元のデータを再構築することは不可能であり、プライバシーリスクを回避できる。
• アンカーデータとSVDに基づく変換を用いることで、次元やマッピング関数が異なる複数の機関の異種表現を効果的に整列できる。
• ノイズ注入や複雑な暗号化を回避するため、暗号技術や微分散プライバシーに比べて計算効率が優れている。
• 整列済み表現上で1つのモデルを学習可能であり、個々の機関の分析結果を上回る性能を達成できる。
• 本フレームワークは汎用的であり、PCA、FDA、深層ニューラルネットワークのコンponentsを含む、さまざまな次元削減および特徴抽出技術と互換性がある。