[論文レビュー] SecDD: Efficient and Secure Method for Remotely Training Neural Networks

Ilia Sucholutsky, Matthias Schonlau|arXiv (Cornell University)|Sep 19, 2020

Adversarial Robustness in Machine Learning参考文献 15被引用数 7

ひとこと要約

SecDDは、ドリルされた画像をターゲットネットワークのアーキテクチャとランダム初期化に過剰適合させることで、プライバシーを保ちつつ、遠隔地で神経ネットワークを安全かつ効率的に訓練するための新規手法を提案する。これらの合成サンプルは、ランダムノイズや関係のないデータとして見えるが、高い精度でモデル訓練を可能にする。逆に、ニューラルアーキテクチャサーチ（NAS）の膨大な計算コストのため、逆設計は現実的ではない。

ABSTRACT

We leverage what are typically considered the worst qualities of deep learning algorithms - high computational cost, requirement for large data, no explainability, high dependence on hyper-parameter choice, overfitting, and vulnerability to adversarial perturbations - in order to create a method for the secure and efficient training of remotely deployed neural networks over unsecured channels.

研究の動機と目的

• 機密性のないチャネルを介して神経ネットワークを安全に訓練する課題に対処すること。
• 盗聴されたデータが他のモデルの学習や機微な情報を露呈できないように、送信サイズを最小限に抑えること。
• ドリルされたニューラルネットワークの訓練データが持つ本質的な曖昧さ（合成サンプルがランダムノイズとして見えること）を、プライバシー保護のメカニズムとして活用すること。
• 送信されたデータ上で、同一のアーキテクチャと初期化を持つネットワークのみが効果的に学習できるような手法を設計すること。
• 訓練データサイズを数個のオーダー単位で削減することで、モデル精度を損なわず効率を向上させること。

提案手法

• ソフトラベルデータセットドリル（SLDD）を拡張し、合成画像を特定のターゲットネットワークのアーキテクチャとランダム重み初期化に意図的に過剰適合させる。
• 固定された入力として、ランダムノイズまたは関係のないデータセットの画像を用い、実データと視覚的に区別がつかないようにする。
• バックプロパゲーションにより、これらの固定画像に対するソフトラベル（ログティス）を学習し、意味的コンテンツが欠如しているにもかかわらず、ターゲットネットワークが高精度に学習できることを実現する。
• クラスの混合を促進し、ドリルされた画像に識別可能な特徴を減らすことを目的とした、代替的なラベル初期化戦略を採用する。
• 小さなドリル済みデータセットにおけるニューラルアーキテクチャサーチ（NAS）の計算的に非現実的な難易度を活用し、攻撃者がターゲットモデルを逆設計できないようにする。
• ランダムノイズ初期化モードと、関係のないデータセットからの画像を用いるモードの2通りをサポートし、データの意味的曖昧性を高める。

実験結果

リサーチクエスチョン

• RQ1 ランダムノイズとして見えるが、高精度にターゲットニューラルネットワークを学習できる、プライバシー保護型の合成訓練データを生成できるか？
• RQ2 特定のネットワークアーキテクチャと初期化に過剰適合させることで、不正なモデルがドリル済みデータから学習するのをどれほど効果的に防げるか？
• RQ3 意味的コンテンツが欠如した無関係な画像やノイズを、データセットドリルの固定入力として使用できる範囲はどの程度か？モデル性能に与える影響は？
• RQ4 異なるラベル初期化戦略が、ドリルされた画像の解釈可能性とプライバシーに与える影響は？
• RQ5 小さなドリル済みデータセットにおけるNASの計算的非現実性が、モデル抽出攻撃に対する実用的な障壁として機能するか？

主な発見

• SecDDは、10枚の合成訓練データを用いて、MNIST上でターゲットネットワークを95％以上の精度に到達させることに成功した。画像はランダムノイズとして見えるが、効果的な学習が可能である。
• SecDDのドリル済み画像は、実際のMNISTサンプルとは類似しておらず、視覚的に関係のないデータセットに属するように見える。これにより、曖昧性によるプライバシー保護が強化される。
• 固定入力がランダムノイズまたは関係のないデータセットからの画像であっても、モデルは高い精度を達成しており、入力の意味的性質に依存しない強靭性が示された。
• 完全なデータセットと比較して、送信サイズを数個のオーダー単位で削減でき、効率性が顕著に向上した。
• 攻撃者がターゲットモデルを再構築するには、計算的に非現実的なNASを実行する必要があるため、送信データのプライバシーが保たれている。
• 実験により、小さなドリル済みデータセットではNASが失敗することが確認され、逆設計が現実的な仮定のもとでは非現実的であることが裏付けられた。