[論文レビュー] Deconstructing Data Reconstruction: Multiclass, Weight Decay and General Losses

Gon Buzaglo, Niv Haim+5 more|arXiv (Cornell University)|Jul 4, 2023

Neural Networks and ApplicationsComputer Science被引用数 3

ひとこと要約

この論文は、二値分類を越えて多クラス分類および回帰タスクへのデータ再構築を拡張し、重み減衰を含むさまざまな損失関数に適用可能な一般化された再構築スキームを導入する。重み減衰が再構築可能性を向上させることを示し、5,000件のサンプルで訓練されたモデルからも成功裏に再構築が可能であることを示しており、モデルの記憶とプライバシーにおける新たな脆弱性を明らかにしている。

ABSTRACT

Memorization of training data is an active research area, yet our understanding of the inner workings of neural networks is still in its infancy. Recently, Haim et al. (2022) proposed a scheme to reconstruct training samples from multilayer perceptron binary classifiers, effectively demonstrating that a large portion of training samples are encoded in the parameters of such networks. In this work, we extend their findings in several directions, including reconstruction from multiclass and convolutional neural networks. We derive a more general reconstruction scheme which is applicable to a wider range of loss functions such as regression losses. Moreover, we study the various factors that contribute to networks' susceptibility to such reconstruction schemes. Intriguingly, we observe that using weight decay during training increases reconstructability both in terms of quantity and quality. Additionally, we examine the influence of the number of neurons relative to the number of training samples on the reconstructability. Code: https://github.com/gonbuzaglo/decoreco

研究の動機と目的

• Haimら（2022）の二値分類タスクに限ったデータ再構築フレームワークを、多クラス分類タスクへ拡張すること。
• MSEのような回帰損失を含む、さまざまな損失関数に適用可能な一般化された再構築スキームの開発。
• 重み減衰が再構築可能性に与える影響、特に畳み込みニューラルネットワークにおける影響の調査。
• モデル容量（パラメータ数）と訓練サンプル数の関係が再構築可能性に与える影響の分析。
• 1,000件のサンプルを越える大規模なモデルからも訓練データの再構築が可能かどうかの検証。

提案手法

• 重み減衰を用いて訓練されたニューラルネットワークの暗黙のバイアスに基づき、KKT条件フレームワークを多クラスおよび一般損失へ拡張した一般化された再構築スキームを導出する。
• 多クラス交差エントロピー損失および回帰損失（例：MSE）に対応できるように再構築損失関数を変更し、多様な目的で訓練されたモデルからの再構築を可能にする。
• 入力の有界性制約と反復的精錬を用いた勾配ベースの最適化スキームを採用し、モデルパラメータを逆算して訓練サンプルを回復する。
• 最適化問題とマックスマージン問題のKKT条件の双対性を活用した再構築目的関数（式15）を導入する。
• 幅（W）とサンプル数（N）を変化させた二値CIFAR10（動物対車両）の制御実験を実施し、SSIM > 0.4を基準に再構築可能性を測定する。
• 3層MLPおよび畳み込みネットワークを用いた検証を実施し、BCEおよびMSE損失を用い、さまざまなハイパーパramータ設定での性能を評価する。

Figure 1: Reconstructed training samples from a multi-class MLP classifier that was trained on $500$ CIFAR10 images. Each column corresponds to one class and shows the $10$ training samples ( red ) that were best reconstructed from this class, along with their reconstructed result ( blue ).

実験結果

リサーチクエスチョン

• RQ1 Haim ら（2022）の再構築スキームは、多クラス分類タスクへ一般化可能か？
• RQ2 MSE などの回帰損失に適用した場合、再構築手法は依然として有効か？
• RQ3 重み減衰は、ニューラルネットワークにおける訓練サンプルの再構築可能性にどのように影響するか？
• RQ4 モデル容量（パラメータ数）と訓練サンプル数の関係は、再構築可能性にどのように関係するか？
• RQ5 1,000件のサンプルを越える、例えば5,000件のデータセットで訓練されたモデルからも、成功裏に再構築が可能か？

主な発見

• 多クラスニューラルネットワークからの訓練サンプルの再構築スキームは成功しており、クラス数が増えるほど再構築可能性が向上する。
• 本手法は回帰損失へも一般化可能であり、MSE損失で訓練されたモデルからの再構築が可能である。これは、従来の手法では達成できなかった。
• 重み減衰は再構築可能性を顕著に向上させ、以前はMLPに限られていたが、畳み込みニューラルネットワークからの再構築も可能にした。
• 再構築可能性は、モデル幅（W）と訓練サンプル数（N）の比に強く依存しており、W/Nが大きいほどより多くのサンプルが回復可能となる。
• 5,000件のサンプルで訓練された3層MLPからも良好な再構築が達成され、従来の1,000件の上限を超えた可能性を示した。
• N = 500の場合、大きなモデル（W = 1,000）であっても再構築可能性は8%にとどまり、データセットサイズの増加に伴い性能が急激に低下することが示された。

Figure 2: Multi-class classifiers are more vulnerable to training-set reconstruction. For a training set of size $500$ , a multi-class model ( left ) yields $101$ reconstructed samples with good quality (SSIM $>$ $0.4$ ), compared to $40$ in a binary classification model ( right ).