[論文レビュー] Reconstruction of training samples from loss functions

Akiyoshi Sannai|arXiv (Cornell University)|May 18, 2018

Model Reduction and Neural Networks参考文献 16被引用数 5

ひとこと要約

本稿では、ReLUベースの深層ニューラルネットワークの損失関数を分析するための新しい代数的枠組みを導入し、トレーニングサンプルが損失関数の滑らかでない点と代数的構造から弱く再構成可能であることを示している。出力を「仮想多項式」としてモデル化し、アクティブパスによる因数分解を分析することで、著者らは入力データがスカラー乗算を除いて再構成可能であることを証明し、深層学習のトレーニングにおける固有の情報漏洩リスクを明らかにしている。

ABSTRACT

This paper presents a new mathematical framework to analyze the loss functions of deep neural networks with ReLU functions. Furthermore, as as application of this theory, we prove that the loss functions can reconstruct the inputs of the training samples up to scalar multiplication (as vectors) and can provide the number of layers and nodes of the deep neural network. Namely, if we have all input and output of a loss function (or equivalently all possible learning process), for all input of each training sample $x_i \in \mathbb{R}^n$, we can obtain vectors $x'_i\in \mathbb{R}^n$ satisfying $x_i=c_ix'_i$ for some $c_i eq 0$. To prove theorem, we introduce the notion of virtual polynomials, which are polynomials written as the output of a node in a deep neural network. Using virtual polynomials, we find an algebraic structure for the loss surfaces, called semi-algebraic sets. We analyze these loss surfaces from the algebro-geometric point of view. Factorization of polynomials is one of the most standard ideas in algebra. Hence, we express the factorization of the virtual polynomials in terms of their active paths. This framework can be applied to the leakage problem in the training of deep neural networks. The main theorem in this paper indicates that there are many risks associated with the training of deep neural networks. For example, if we have N (the dimension of weight space) + 1 nonsmooth points on the loss surface, which are sufficiently close to each other, we can obtain the input of training sample up to scalar multiplication. We also point out that the structures of the loss surfaces depend on the shape of the deep neural network and not on the training samples.

研究の動機と目的

• 代数幾何学の手法を用いて、ReLUベースの深層ニューラルネットワークの損失関数を分析するための数学的枠組みを開発すること。
• 損失関数の構造からトレーニングデータが再構成可能かどうかを調査すること。
• 損失関数の特異点から入力サンプルが回復可能となる条件を同定すること。
• 深層ネットワークのアーキテクチャとその損失関数の代数的性質との間の理論的リンクを確立すること。
• 損失関数がトレーニングサンプルの構造的情報をエンコードしていることから、深層学習における情報漏洩リスクを露呈すること。

提案手法

• 深層ReLUネットワークのノード出力を表す『仮想多項式』を導入し、層ごとの次数を持つ同次多項式とする。
• 損失関数を半代数的集合として扱い、特異点の解析に代数幾何学の道具を応用する。
• 同次多項式の理論と一意因数分解の性質を用いて、多項式の分解をネットワーク内のアクティブパスに関連付ける。
• 損失関数の滑らかでない点を、特にクラスタを形成する場合に、入力データの特定を示す重要な指標と特定する。
• 可換代数を応用し、特異集合の定義多項式の既約成分が入力または重みに対応することを証明する。
• 損失関数の定義方程式を用いて、スカラー乗算を除いたトレーニングサンプルの再構成を可能にする理論的アルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 ReLUベースの深層ニューラルネットワークの損失関数から、トレーニングサンプルの入力を再構成可能か？
• RQ2 深層ReLUネットワークの損失関数の背後にある代数的構造は何か？ そして、それはネットワークアーキテクチャとどのように関係するか？
• RQ3 損失関数の滑らかでない点は、トレーニングデータに関するどのような情報をエンコードしているか？
• RQ4 ネットワークアーキテクチャ（特に深さと幅）が、損失関数の代数的性質をどの程度決定づけているか？
• RQ5 損失関数の特異集合から、重みと入力データを再構成可能か？

主な発見

• すべての学習プロセスが把握されている限り、ReLUベースの深層ニューラルネットワークの損失関数は、トレーニングサンプルの入力をスカラー乗算を除いて再構成可能である。
• 損失関数の滑らかでない点は、入力と出力の比に対応し、トレーニングデータの構造の回復を可能にする。
• 損失関数の特異点の集合は、仮想多項式によって定義される代数的多様体と一致し、幾何学とデータの間の直接的なリンクを確立する。
• 仮想多項式の因数分解は、ネットワーク内のアクティブパスと正確に一致し、深い構造的対応を明らかにする。
• ネットワークの層数とノード数は、損失関数の代数的構造から特定可能である。
• 本フレームワークにより、深層学習のトレーニングプロセスが本質的にトレーニングサンプルに関する情報を漏洩させることを明らかにし、重大なプライバシーリスクを示している。