[論文レビュー] Revealing and Protecting Labels in Distributed Training

Trung Dang, Om Thakkar+4 more|OpenBU (Boston University)|Oct 31, 2021

Adversarial Robustness in Machine Learning参考文献 34被引用数 9

ひとこと要約

本稿では、分散学習におけるモデル重み更新から、ソフトマックスと交差エントロピー損失を用いるさまざまなディープラーニングアーキテクチャ向けに、全トレーニングラベルを抽出するための「勾配からのラベルの露呈」（RLG）を提案する。RLGは、自動音声認識（ASR）における高精度なトランスクリプト再構成を可能にするとともに、既存の再構成手法の成功率を向上させることを示しており、勾配の量子化およびスパース化が攻撃を緩和することも示されている。

ABSTRACT

Distributed learning paradigms such as federated learning often involve transmission of model updates, or gradients, over a network, thereby avoiding transmission of private data. However, it is possible for sensitive information about the training data to be revealed from such gradients. Prior works have demonstrated that labels can be revealed analytically from the last layer of certain models (e.g., ResNet), or they can be reconstructed jointly with model inputs by using Gradients Matching [Zhu et al'19] with additional knowledge about the current state of the model. In this work, we propose a method to discover the set of labels of training samples from only the gradient of the last layer and the id to label mapping. Our method is applicable to a wide variety of model architectures across multiple domains. We demonstrate the effectiveness of our method for model training in two domains - image classification, and automatic speech recognition. Furthermore, we show that existing reconstruction techniques improve their efficacy when used in conjunction with our method. Conversely, we demonstrate that gradient quantization and sparsification can significantly reduce the success of the attack.

研究の動機と目的

• 分散学習におけるモデル勾配からのラベル漏洩というプライバシーリスク、特にトランスクリプトなどのラベルが極めて機微な系列モデリング分野に対処すること。
• ミニバッチや複数のトレーニングステップを経て計算された勾配に対しても、重み更新における使用されたラベルの完全なセットを特定する手法を開発すること。
• 画像分類（ResNet、EfficientNet）および自動音声認識（アテンションベースのエンコーダデコーダモデル）の両分野において、RLGの有効性を評価すること。
• Sign-SGD や GradDrop などの勾配圧縮技術が、ラベル再構成攻撃に対してどの程度防御効果を示すかを調査すること。
• RLG を既存の再構成手法（例：勾配マッチング）と組み合わせることで、リソースが限られた環境や高ボリュームの語彙設定において、性能が著しく向上することを示すこと。

提案手法

• ソフトマックスと交差エントロピー損失を用いるモデルに適用可能な「勾配からのラベルの露呈」（RLG）を提案。最終層の勾配とラベルIDマッピングを用いて、ラベルの完全なセットを推定する。
• 系列モデルにおけるラベルの探索空間を縮小するために、袋モデル（Bag-of-Words, BoW）制約を用い、全シーケンス順序の最適化ではなく、ラベル頻度の最適化に限定する。
• ラベル回復問題を、文脈ベクトル（A）と疑似ラベル分布（P′）の最適化問題に再定式化。再構成勾配とターゲット勾配とのL2距離を最小化する。
• 正則化項を含む目的関数を採用：min ||∂L_Bow/∂W_decoder - ∇W_decoder*|| + λℛ(P′)。ここでℛ(P′)は学習の安定化を図る正則化項である。
• 1ステップのミニバッチ更新および1つのサンプルからのKステップ更新に本手法を適用し、さまざまなトレーニング環境に広く適用可能であることを示している。
• 自動音声認識における完全なトランスクリプト再構成のために、RLGと勾配マッチング（GM）を組み合わせ、言語モデルの支援なしにBoWを用いてシーケンス再構成をガイドする。

実験結果

リサーチクエスチョン

• RQ1 複数のサンプルやステップにわたる勾配の集約が行われた場合でも、分散学習における1回の勾配更新から、トレーニングラベルの完全なセットを信頼性高く回復できるか？
• RQ2 全可能なラベルシーケンスの同時最適化が非現実的である高ボリューム語彙領域（例：自動音声認識）において、RLGはどの程度の効果を示すか？
• RQ3 Sign-SGD や GradDrop などの勾配量子化およびスパース化技術は、ラベル再構成攻撃の成功率をどの程度低下させるか？
• RQ4 ラベル集合の知識が、系列モデリングにおける既存の再構成手法（例：勾配マッチング）の性能向上にどの程度寄与するか？
• RQ5 RLGとGMの組み合わせにより、言語モデルの支援なしに、ASRにおいて完全かつ正確なトランスクリプト再構成が可能になるか？

主な発見

• RLGは、画像分類（ResNetおよびEfficientNet）および自動音声認識タスクの両方において、勾配からトレーニングラベルの完全なセットを成功裏に回復した。
• ASRにおいて、RLGと勾配マッチング（GM）を組み合わせた場合、5回の実行で97.5%の正確一致（EM）スコアを達成した。一方、BoWを用いないGMではEMスコアはたったの1.8%にとどまった。
• トランスクリプト再構成における語誤り率（WER）は、BoWと複数回の実行を用いることで、1.0を超える（ほぼランダムな状態）から0.010にまで低下し、ほぼ完全な再構成が達成されたことを示している。
• 勾配量子化（Sign-SGD）およびスパース化（GradDrop）は、RLGの攻撃成功率を顕著に低下させ、通信効率向上とプライバシー保護の両面で二重の利点を示している。
• 本手法は、初期トレーニング段階のモデルチェックポイントに対しても有効であり、1万ステップ目で40%の正確なトランスクリプト再構成が達成された。
• 袋モデル（BoW）制約を用いることで、最適化変数の数を13万から2万に削減し、高ボリューム語彙環境下でも再構成が可能になった。