[論文レビュー] Privacy Aware Offloading of Deep Neural Networks

Sam Leroux, Tim Verbelen+2 more|arXiv (Cornell University)|May 30, 2018

Adversarial Robustness in Machine Learning参考文献 10被引用数 15

ひとこと要約

本論文は、入力画像をクラウドベースの事前学習済み分類器にオフロードする前に、人間が認識できないようにする軽量で学習可能なオブフスケーションネットワークを用いて、プライバシーを守るディープラーニングフレームワークを提案する。この手法は、分類器の内部重みにアクセスせずに訓練されたオブフスケーターを用い、CIFAR-10で90％以上の分類精度を達成しながら、人間には認識不能な画像を生成する。GANに類似した敵対的訓練手法を採用し、別個のデオブフスケーターを用いてプライバシーを保証している。

ABSTRACT

Deep neural networks require large amounts of resources which makes them hard to use on resource constrained devices such as Internet-of-things devices. Offloading the computations to the cloud can circumvent these constraints but introduces a privacy risk since the operator of the cloud is not necessarily trustworthy. We propose a technique that obfuscates the data before sending it to the remote computation node. The obfuscated data is unintelligible for a human eavesdropper but can still be classified with a high accuracy by a neural network trained on unobfuscated images.

研究の動機と目的

• 信頼できないクラウドオペレータがユーザーの生データにアクセスする可能性がある、クラウドベースのディープニューラルネットワーク推論におけるプライバシーリスクに対処すること。
• ユーザーのプライバシーを損なうことなく、計算コストの高いDNNをクラウドにオフロードできること。
• 分類精度を保持しながら人間には認識不能な入力を生成する、軽量で学習可能なオブフスケーション機構を開発すること。
• 訓練後、分類モデルの内部重みにアクセスする必要がないようにオブフスケーターを設計し、実用的な展開を可能にすること。
• オブフスケーターのネットワークが、異なる事前学習済み分類器へと転送可能かどうかを評価すること。

提案手法

• アーキテクチャは3つのディープニューラルネットワークから構成される：事前学習済み画像分類器、学習可能なオブフスケーター、および元の画像の再構築を目的としたデオブフスケーター。
• オブフスケーターは、事前学習済みネットワークにおける分類損失を最小化するとともに、再構築損失を最大化するように訓練され、出力が人間には認識不能であることを保証する。
• デオブフスケーターは、オブフスケートされたバージョンから元の画像を再構築することに特化して訓練され、プライバシーの確保を検証するメカニズムとして機能する。
• オブフスケーターとデオブフスケーターの共同訓練には、交差エントロピー分類損失（Lc）とL2再構築損失（Lr）の組み合わせが用いられる。
• オブフスケーターは、FLOPsとパラメータ数を最小限に抑えるために、MobileNetにインspiredしたアーキテクチャと、ディープワイズ分離型畳み込みを採用して実装されている。
• 訓練中に事前学習済み分類器を通り抜けるバックプロパゲーションが必要であるため、分類モデルは真のブラックボックスとは見なされない。

実験結果

リサーチクエスチョン

• RQ1 分類精度を保持しながら人間には認識不能な画像を生成できる、学習可能なオブフスケーション機構を設計できるか？
• RQ2 オブフスケーターは、多様な事前学習済み分類器において、高い精度を維持できるか？
• RQ3 ある分類器で訓練したオブフスケーターが、再トレーニングなしに別の分類器へと転送可能か、その程度はどの程度か？
• RQ4 オブフスケーション処理は、分類に必要な構造的特徴を十分に保持しているが、プライバシーに敏感な詳細は除去しているか？
• RQ5 デオブフスケーターは、オブフスケート出力から元の画像を信頼性高く再構築できるか？これにより、オブフスケートデータが逆引き不可能であることが確認できるか？

主な発見

• 提案されたオブフスケーターは、CIFAR-10において複数のアーキテクチャで89.3％～90.5％の分類精度を維持しており、元の93.4％～95.2％の精度から5％の低下があるものの、依然として高い精度を達成している。
• オブフスケーターは最小限のオーバーヘッドであり、対応する分類ネットワークのFLOPSの1.4％～6.7％、パラメータ数の1.4％～5.3％しか消費しない。
• デオブフスケーターは、オブフスケート出力から元の画像を再構築できず、オブフスケートデータが逆引き不可能であることが確認された。
• オブフスケーターは限定的な転送性を示している：別の分類器に適用すると精度が著しく低下するが、ランダムレベルまで下がることはない（例：未学習のモデルでは30～50％の精度）。
• ResNet18で訓練したオブフスケーターは、異なる初期化をもつ第二のResNet18で53.8％の精度を示しており、モデル間である程度の一般化が可能であることが示された。
• 本手法は、プライバシーと有用性の両立に成功している：画像は人間には認識不能にされつつも、正確な分類に十分な特徴を保持している。