[論文レビュー] Unsupervised Information Obfuscation for Split Inference of Neural Networks

Mohammad Samragh, Hossein Hosseini+4 more|arXiv (Cornell University)|Apr 23, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用数 6

ひとこと要約

本論文は、エッジデバイスの出力から不要な特徴を除去する、分離型ニューラルネットワーク推論のための非教師あり情報難読化手法を提案する。機密属性の知識を必要とせず、元の特徴との相互情報量を最小化しながらモデルの精度を維持する。サーバーの最初の層の特異値分解（SVD）を活用することで、未学習の個人的属性の漏洩を、敵対的訓練などの教師あり手法よりも効果的に低減する。

ABSTRACT

Splitting network computations between the edge device and a server enables low edge-compute inference of neural networks but might expose sensitive information about the test query to the server. To address this problem, existing techniques train the model to minimize information leakage for a given set of sensitive attributes. In practice, however, the test queries might contain attributes that are not foreseen during training. We propose instead an unsupervised obfuscation method to discard the information irrelevant to the main task. We formulate the problem via an information theoretical framework and derive an analytical solution for a given distortion to the model output. In our method, the edge device runs the model up to a split layer determined based on its computational capacity. It then obfuscates the obtained feature vector based on the first layer of the server model by removing the components in the null space as well as the low-energy components of the remaining signal. Our experimental results show that our method outperforms existing techniques in removing the information of the irrelevant attributes and maintaining the accuracy on the target label. We also show that our method reduces the communication cost and incurs only a small computational overhead.

研究の動機と目的

• 入力データに機密属性が含まれる場合、エッジ・サーバー間のニューラルネットワーク推論において、その属性がサーバーに漏洩するのを防ぐこと。
• トレーニング時および推論時にラベル付きの機密属性を必要としない、非教師あり難読化技術の開発。
• ターゲットタスクの精度を維持しながら、関係のない属性の情報漏洩を最小限に抑えること。
• エッジデバイスにおける通信コストと計算オーバーヘッドを低減すること。
• 実世界のMLaaS展開において、未学習または未知の機密属性に対しても適用可能な汎用的ソリューションを提供すること。

提案手法

• モデル出力の歪み制約の下で、元の特徴と難読化された特徴間の相互情報量を最小化する問題として難読化を定式化する。
• サーバーのモデルの最初の層の特異値分解（SVD）を用いて、ヌル空間および低エネルギー信号成分を同定する解析的解を導出する。
• ヌル空間の直交補空間への投影と、低エネルギー特異ベクトルの切断を用いて難読化を実行する。
• 推論中に機密ラベルや敵対モデルへのアクセスを一切必要とせず、エッジデバイス上で完全に動作する。
• リソース制約のあるデバイスでも効率的かつリアルタイムに計算可能なように、情報理論的最適化問題の緩和を採用する。
• ターゲットタスクの精度を維持するため、元の出力と難読化後の出力との差に基づく歪み制約を用いる。

実験結果

リサーチクエスチョン

• RQ1 機密属性の事前知識がなくても、非教師あり手法がニューラルネットワーク特徴における不要な情報を効果的に難読化できるか？
• RQ2 敵対的訓練などの教師あり手法と比較して、提案手法はプライバシーと精度のトレードオフにおいてどのように優れているか？
• RQ3 トレーニング時に見られなかった属性の漏洩は、どの程度低減されるか？
• RQ4 エッジデバイスの計算能力の向上が、難読化機構の性能にどのように影響するか？
• RQ5 多様なデータセットや属性において、情報漏洩を最小限に抑えつつ高いモデル精度を維持できるか？

主な発見

• 提案手法は、敵対的訓練が難読化に失敗する未学習の機密属性（例：化粧、口紅）についても、攻撃精度を顕著に低減し、教師あり手法を上回る。
• CelebAデータセットでは、顔の高さの高い頬骨や口を開けているなどのターゲットと強く相関する属性を除き、すべての隠れた属性について攻撃精度が0.5未満に低下した。
• 難読化特徴と関係のない属性との間の相互情報量を低減しながらも、ターゲットタスクの精度（例：笑顔分類で95％）を高い水準で維持した。
• エッジデバイスの計算能力が向上するにつれて、同じターゲット精度でもより優れた難読化性能が得られ、デバイスの能力に応じたスケーラビリティを示した。
• 計算オーバーヘッドは最小限であり、送信されるのは必須の難読化済み特徴のみであるため、通信コストも低減された。
• 非教師あり性のおかげで、機密属性が未知または動的である実用的状況でも、安定した性能を発揮できる。