[論文レビュー] Efficient Privacy Preserving Edge Computing Framework for Image Classification

Omobayode Fagbohungbe, Sheikh Rufsan Reza+2 more|arXiv (Cornell University)|May 10, 2020

Privacy-Preserving Technologies in Data参考文献 29被引用数 6

ひとこと要約

本論文は、エッジデバイスで非教師ありオートエンコーダー学習を用いて、生画像を潜在ベクトルに圧縮・暗号化した後、中央サーバーに送信する、プライバシー保護型エッジコンピューティングフレームワークを提案する。サーバーは、このコン pact でプライバシー保護された特徴量を用いてディープな分類器を学習し、通信負荷を低減するとともにフェデレーテッドラーニングの勾配共有や暗号化メカニズムに依存しない高精度な分類を実現する。

ABSTRACT

In order to extract knowledge from the large data collected by edge devices, traditional cloud based approach that requires data upload may not be feasible due to communication bandwidth limitation as well as privacy and security concerns of end users. To address these challenges, a novel privacy preserving edge computing framework is proposed in this paper for image classification. Specifically, autoencoder will be trained unsupervised at each edge device individually, then the obtained latent vectors will be transmitted to the edge server for the training of a classifier. This framework would reduce the communications overhead and protect the data of the end users. Comparing to federated learning, the training of the classifier in the proposed framework does not subject to the constraints of the edge devices, and the autoencoder can be trained independently at each edge device without any server involvement. Furthermore, the privacy of the end users' data is protected by transmitting latent vectors without additional cost of encryption. Experimental results provide insights on the image classification performance vs. various design parameters such as the data compression ratio of the autoencoder and the model complexity.

研究の動機と目的

• IoTや5G環境におけるクラウドベースの画像処理の限界、すなわち通信帯域の高使用、プライバシー懸念、データ送信リスクを解消すること。
• エッジデバイスの能力によるモデルの複雑さの制限や、頻繁な通信要件があるフェデレーテッドラーニングの制約を克服すること。
• エッジデバイスでオートエンコーダー学習を分散化し、サーバーで分類器学習を集中化することで、効率的で安全かつスケーラブルな画像分類を実現すること。
• 生画像を送信しないで潜在ベクトルのみを送信することで、復号器がなければデータ再構築が不可能となるため、ユーザーのプライバシーを保護すること。
• オートエンコーダーを用いて特徴抽出とデータ圧縮を行うことで、通信コストを削減し、システム効率を向上させること。

提案手法

• エッジデバイスごとに、ローカル画像データを用いた非教師あり学習により、畳み込みオートエンコーダーを独立して学習する。
• 生画像ではなく、学習済みの潜在ベクトル（圧縮表現）のみを各エッジデバイスから中央サーバーに送信する。
• 潜在ベクトルを入力として用い、エッジサーバーでディープな分類器モデルを学習し、分類器学習をエッジデバイスの制約から分離する。
• エッジデバイスにエンコーダーのみを保持し、再構築に必要なデコーダーはサーバーで安全に保管することで、データプライバシーを確保する。
• 必要に応じて、事前に学習済みのデコーダーを用いて、サーバーで元の画像を再構築可能であり、再構築誤差は最小限に抑えられる。
• オートエンコーダー学習をサーバーの調整から分離し、エッジデバイスがリアルタイム通信なしに独立して学習を実行できるようにする。

実験結果

リサーチクエスチョン

• RQ1 異なるオートエンコーダー圧縮比における、提案フレームワークの分類精度はどのように変化するか？
• RQ2 生画像の代わりに圧縮された潜在ベクトルを用いた場合、モデル性能はどの程度低下するか？
• RQ3 通信効率、モデル複雑さ、プライバシー保証の観点から、フェデレーテッドラーニングと比較して、本フレームワークはどのように異なるか？
• RQ4 オートエンコーダーから得られる潜在ベクトルは、高精度な画像分類に十分な判別的特徴を提供できるか？
• RQ5 提案されたエッジコンピューティングパイプラインにおいて、モデル複雑さ、圧縮比、推論精度のトレードオフは何か？

主な発見

• 提案フレームワークは、16未満の圧縮比でさえも、フル解像度入力と比較して性能劣化が最小限に抑えられ、高い画像分類精度を達成する。
• 事前に学習済みのデコーダーを用いた場合、潜在ベクトルから生画像の再構築誤差は非常に小さく、オートエンコーダーが重要な画像特徴を効果的に保持していることを確認する。
• 生画像データではなく、コン pact な潜在ベクトルのみを送信するため、通信負荷が顕著に低減され、帯域効率が向上する。
• 復号器の重みとアーキテクチャがなければ、潜在ベクトルは敵対者にとって意味的に理解不能であるため、追加の暗号化なしにプライバシーが強化される。
• 潜在ベクトルのみを送信するため、エッジデバイスの制限に縛られず、サーバーで深く複雑な分類器を構築できる。
• 勾配漏洩のリスクを避けるため、フェデレーテッドラーニングとは異なり、モデル更新や勾配を共有しない。代わりに、圧縮された特徴量のみが送信される。