[論文レビュー] Minimal Model Structure Analysis for Input Reconstruction in Federated Learning

Qian Jia, Hiba Nassar+1 more|arXiv (Cornell University)|Oct 29, 2020

Stochastic Gradient Optimization Techniques被引用数 4

ひとこと要約

この論文は、フェデレーテッドラーニングにおける入力再構成の理論的分析を提供し、深さにかかわらず、全結合ネットワークに1つの隠れユニットを備えた場合、勾配のみを用いて1つの入力が正確に再構成可能であることを示している。最小のアーキテクチャ的要件（バッチサイズを超える隠れユニット数や、CNNにおける十分なカーネル数など）を確立し、バッチ再構成を安定化させる正則化項を導入。MNIST、fMRI、ImageNetにおいてほぼ損失なしの結果を示した。

ABSTRACT

\ac{fl} proposed a distributed \ac{ml} framework where every distributed worker owns a complete copy of global model and their own data. The training is occurred locally, which assures no direct transmission of training data. However, the recent work \citep{zhu2019deep} demonstrated that input data from a neural network may be reconstructed only using knowledge of gradients of that network, which completely breached the promise of \ac{fl} and sabotaged the user privacy. In this work, we aim to further explore the theoretical limits of reconstruction, speedup and stabilize the reconstruction procedure. We show that a single input may be reconstructed with the analytical form, regardless of network depth using a fully-connected neural network with one hidden node. Then we generalize this result to a gradient averaged over batches of size $B$. In this case, the full batch can be reconstructed if the number of hidden units exceeds $B$. For a \ac{cnn}, the number of required kernels in convolutional layers is decided by multiple factors, e.g., padding, kernel and stride size, etc. We require the number of kernels $h\geq (\frac{d}{d^{\prime}})^2C$, where we define $d$ as input width, $d^{\prime}$ as output width after convolutional layer, and $C$ as channel number of input. We validate our observation and demonstrate the improvements using bio-medical (fMRI, \ac{wbc}) and benchmark data (MNIST, Kuzushiji-MNIST, CIFAR100, ImageNet and face images).

研究の動機と目的

• フェデレーテッドラーニングにおける入力再構成の理論的限界を、勾配情報のみを用いて調査すること。
• 正確または高精度の入力再構成に必要な最小のアーキテクチャ的要件（隠れユニット数やカーネル数など）を特定すること。
• 反復最適化における正則化の導入により、特に大規模バッチの場合の再構成の安定性と品質を向上させること。
• MNIST、fMRI、WBC、CIFAR100、ImageNetといった実世界のデータセットを用いて理論的発見を検証すること。
• 医療診断などの機微な応用分野におけるプライバシー保護型モデルアーキテクチャの選定を、実務家に支援すること。

提案手法

• 勾配から導かれる線形方程式系として入力回復問題を定式化し、入力再構成を線形方程式系として扱う。
• 1つの隠れユニットを備えたMLPに対して、閉形式の解析解を導出：$ x_i = \frac{\partial \ell}{\partial w_{1i}^1} / \frac{\partial \ell}{\partial b_1^1} $。これにより、ネットワークの深さにかかわらず損失なしの再構成が可能となる。
• バッチ再構成に一般化し、全バッチ再構成が可能となるのは、隠れユニット数がバッチサイズ $ B $ を超える場合に限ることを示した。
• CNNに対しては、カーネル数 $ h \geq \left(\frac{d}{d'}\right)^2 C $ の条件を導出。ここで $ d $ は入力幅、$ d' $ は畳み込み後の出力幅、$ C $ は入力チャネル数である。
• 反復最適化において直交性正則化項を提案し、特に高次元入力の場合の数値的安定性と再構成忠実度を向上させた。
• 初期値を乱数で設定し、予測勾配と真の勾配のL2距離を最小化する反復勾配ベース最適化を採用した。

実験結果

リサーチクエスチョン

• RQ1 全結合ニューラルネットワークにおいて、勾配のみを用いて1つの入力を正確に再構成するための最小のモデル構造は何か？
• RQ2 バッチサイズは、フェデレーテッドラーニングにおける入力再構成の可能性と品質にどのように影響するか？
• RQ3 畳み込みニューラルネットワークにおけるどのようなアーキテクチャ的制約が、入力再構成を可能または不可能にするか？
• RQ4 正則化は、バッチ再構成のシナリオにおいて数値的安定性と再構成品質を向上させることができるか？
• RQ5 最小構造的要件に関する理論的予測は、多様なデータセットにおいて実際の状況でも成立するのか？

主な発見

• 1つの隠れユニットを備えたMLPを用いる場合、ネットワークの深さにかかわらず、閉形式の解析解により、勾配のみを用いて1つの入力を正確に再構成可能である。
• MLPにおけるバッチ再構成では、隠れユニット数がバッチサイズ $ B $ を超えていなければならない。$ B=4 $ の場合、隠れユニット数が $ B $ 以上であれば、完全な再構成が達成される。
• 直交性正則化項を追加することで、バッチ再構成の品質が著しく向上：1層のCNNで12個のカーネルを使用した場合、L1誤差は正則化なしの0.21から0.00019に低下した。
• CNNでは、カーネル数を増やすにつれて再構成品質が単調に向上。12個のカーネルではL1誤差が0.04に低下し、11個のカーネルでは0.042に達し、理論的下限値を確認した。
• ImageNetおよびWBCデータセットにおいて、ピクセルあたりの平均L1誤差が $ 1 \times 10^{-8} $ 未満に抑えられ、実際の完全再構成が達成された。
• 理論的条件は大規模バッチサイズ（例：$ B=100 $）に対しても成立し、正則化項は高次元最適化における安定性と忠実度を維持した。