[論文レビュー] Privacy-Preserving Personal Model Training

Sandra Servia-Rodríguez, Liang Wang+3 more|arXiv (Cornell University)|Mar 1, 2017

Privacy-Preserving Technologies in Data参考文献 40被引用数 1

ひとこと要約

この論文は、クラウドからユーザーのローカルデバイスへ機械学習の計算を移行するプライバシー保護型の個人用モデル学習フレームワークを提案している。転移学習を用いて共有モデルを個々のデータでファインチューニングすることで、個人データをリモートサーバーに送信する必要を排除しながらモデルの精度を向上させ、Raspberry Pi 3のようなリソース制限のあるデバイス上でも実現可能であることを示している。

ABSTRACT

Many current Internet services rely on inferences from models trained on user data. Commonly, both the training and inference tasks are carried out using cloud resources fed by personal data collected at scale from users. Holding and using such large collections of personal data in the cloud creates privacy risks to the data subjects, but is currently required for users to benefit from such services. We explore how to provide for model training and inference in a system where computation is pushed to the data in preference to moving data to the cloud, obviating many current privacy risks. Specifically, we take an initial model learnt from a small set of users and retrain it locally using data from a single user. We evaluate on two tasks: one supervised learning task, using a neural network to recognise users' current activity from accelerometer traces; and one unsupervised learning task, identifying topics in a large set of documents. In both cases the accuracy is improved. We also analyse the robustness of our approach against adversarial attacks, as well as its feasibility by presenting a performance evaluation on a representative resource-constrained device (a Raspberry Pi).

研究の動機と目的

• クラウドベースの機械学習サービスにおける中央集権的データ収集に伴うプライバシー懸念を解決すること。
• 信頼できないクラウド環境に個人データを送信せずに正確なモデル学習を可能にすること。
• Raspberry Pi などの低リソースデバイス上でも、個人用モデル学習が効率的に行えることを実証すること。
• 教師あり（行動認識）および教師なし（トピックモデリング）の学習タスクの両方で、このアプローチを評価すること。
• エッジデバイスでの実用性を評価する中で、攻撃者による攻撃に対してどれほど耐性があるかを評価すること。

提案手法

• 2段階の学習プロセス：まず、クラウド上で少数のユーザーのデータを用いて共有モデルを訓練し、次に、そのモデルを各ユーザーの個人データ上でローカルに再訓練する。
• ローカルデータが限られている状況でも性能を向上させるために、事前学習済みモデルを初期値として用いる転移学習を活用する。
• 教師あり学習にはニューラルネットワーク（WISDMデータセット）、教師なしトピックモデリングにはラティント・ディリクレ・アロケーション（LDA）（WikipediaおよびNIPSデータセット）を適用する。
• データの漏洩を回避するため、推論とローカル再訓練をすべてデバイス上で実行する。
• データがユーザーのデバイスから離れることのないプライバシー保護型のパラダイムを採用し、攻撃面積と不正利用のリスクを低減する。
• 実用性を検証するため、Raspberry Pi 3 Model B 上で性能と耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 リソース制限のあるデバイス（例：Raspberry Pi）上で、性能を損なわせることなく、個人用モデル学習を効果的に行えるか。
• RQ2 共有モデルをローカルで再訓練することで、純粋にローカルデータでの学習や従来のクラウドベースの手法と比較して、精度が向上するか。
• RQ3 プライバシー保護型の環境下でも、この手法はアドバーシャル攻撃に対してどれほど耐性を示すか。
• RQ4 機械学習システムにおける中央集権的データ収集に伴うプライバシーリスクを、このアプローチがどの程度低減できるか。
• RQ5 この手法は、教師ありおよび教師なし学習を含むさまざまな学習タスクに一般化可能か。

主な発見

• 教師あり（行動認識）および教師なし（トピックモデリング）の両タスクにおいて、共有モデルのローカル再訓練は、純粋にローカルデータでの学習よりも精度が向上した。
• Raspberry Pi 3 Model B 上で、推論および再訓練の実行時間が実用的であることが確認され、低消費電力エッジデバイス上での実現可能性が示された。
• 攻撃者による攻撃に対して耐性を示し、実世界での展開においても堅牢性があることが示された。
• 個人データをデバイス上に保持することで、データ漏洩や不正利用に関連するプライバシーリスクを顕著に低減した。
• ユーザーが生データをクラウドプロバイダーや第三者と共有する必要がないため、個人に合わせた正確な機械学習を実現できる。