[논문 리뷰] Reconstruction of training samples from loss functions

Akiyoshi Sannai|arXiv (Cornell University)|2018. 05. 18.

Model Reduction and Neural Networks참고 문헌 16인용 수 5

한 줄 요약

이 논문은 ReLU 기반 딥 네ural 네트워크 손실 함수를 분석하기 위한 새로운 대수적 프레임워크를 제안하며, 훈련 샘플이 손실 표면의 비연속점과 대수적 구조에서 약하게 재구성될 수 있음을 입증한다. 출력을 '가상 다항식'으로 모델링하고 활성 경로를 통한 인수 분해를 분석함으로써, 저자들은 입력 데이터가 스칼라 곱을 제외하고는 복원 가능하다는 것을 증명하며, 딥 러닝 훈련 과정에서 내재된 정보 泄露 위험을 드러낸다.

ABSTRACT

This paper presents a new mathematical framework to analyze the loss functions of deep neural networks with ReLU functions. Furthermore, as as application of this theory, we prove that the loss functions can reconstruct the inputs of the training samples up to scalar multiplication (as vectors) and can provide the number of layers and nodes of the deep neural network. Namely, if we have all input and output of a loss function (or equivalently all possible learning process), for all input of each training sample $x_i \in \mathbb{R}^n$, we can obtain vectors $x'_i\in \mathbb{R}^n$ satisfying $x_i=c_ix'_i$ for some $c_i eq 0$. To prove theorem, we introduce the notion of virtual polynomials, which are polynomials written as the output of a node in a deep neural network. Using virtual polynomials, we find an algebraic structure for the loss surfaces, called semi-algebraic sets. We analyze these loss surfaces from the algebro-geometric point of view. Factorization of polynomials is one of the most standard ideas in algebra. Hence, we express the factorization of the virtual polynomials in terms of their active paths. This framework can be applied to the leakage problem in the training of deep neural networks. The main theorem in this paper indicates that there are many risks associated with the training of deep neural networks. For example, if we have N (the dimension of weight space) + 1 nonsmooth points on the loss surface, which are sufficiently close to each other, we can obtain the input of training sample up to scalar multiplication. We also point out that the structures of the loss surfaces depend on the shape of the deep neural network and not on the training samples.

연구 동기 및 목표

• 대수기하학을 활용해 ReLU 기반 딥 네럴 네트워크 손실 함수를 분석하는 수학적 프레임워크를 개발하기.
• 손실 함수의 구조에서 훈련 데이터가 재구성 가능한지 조사하기.
• 손실 표면의 특이점에서 입력 샘플이 복원 가능한 조건을 규명하기.
• 딥 네트워크 아키텍처와 그 손실 표면의 대수적 성질 사이의 이론적 연결을 수립하기.
• 손실 함수가 훈련 샘플에 대한 구조적 정보를 포함하고 있음을 보여줌으로써 딥 러닝에서의 정보 泄露 위험을 폭 드러내기.

제안 방법

• 딥 ReLU 네트워크의 노드 출력을 '가상 다항식'으로 정의하며, 계층별 차수를 갖는 동차 다항식으로 구성한다.
• 손실 표면을 준대수집으로 모델링하고, 대수기하학 도구를 활용해 특이점을 분석한다.
• 동차 다항식 이론과 유일 인수 분해 이론을 활용해 다항식 분해를 네트워크 내 활성 경로와 연결한다.
• 손실 함수의 비연속점이 훈련 샘플 입력을 나타내는 핵심 지표임을 규명하며, 특히 군집을 이룰 경우 더욱 두드러진다.
• 교환대수 이론을 적용해 특이 집합의 정의 다항식의 기약 성분이 입력 또는 가중치에 해당함을 증명한다.
• 손실 함수의 정의 방정식을 활용해 스칼라 곱을 제외한 훈련 샘플 재구성에 이르는 이론적 알고리즘을 개발한다.

실험 결과

연구 질문

• RQ1 ReLU 기반 딥 네럴 네트워크의 손실 함수로부터 훈련 샘플의 입력을 재구성할 수 있는가?
• RQ2 딥 ReLU 네트워크의 손실 표면을 뒷받침하는 대수적 구조는 무엇이며, 네트워크 아키텍처와 어떻게 관련이 있는가?
• RQ3 손실 함수의 비연속점은 훈련 데이터에 대한 정보를 어떻게 인코딩하는가?
• RQ4 특히 깊이와 너비와 같은 네트워크 아키텍처가 손실 표면의 대수적 성질을 어느 정도 결정하는가?
• RQ5 손실 함수의 특이 집합으로부터 네트워크의 가중치와 입력 데이터를 복원할 수 있는가?

주요 결과

• 모든 학습 과정이 알려져 있는 한, ReLU 기반 딥 네럴 네트워크의 손실 함수는 훈련 샘플 입력을 스칼라 곱을 제외하고 재구성할 수 있다.
• 손실 함수의 비연속점은 입력-출력 쌍의 비율을 나타내며, 이로써 훈련 데이터의 구조가 복원 가능해진다.
• 손실 표면의 특이점 집합은 가상 다항식이 정의하는 대수적 다양체와 정확히 일치하며, 기하학과 데이터 사이의 직접적 연결 고리를 확립한다.
• 가상 다항식의 인수 분해는 네트워크 내 활성 경로와 정확히 일치하며, 깊은 구조적 대응 관계를 드러낸다.
• 네트워크의 계층 수와 노드 수는 손실 표면의 대수적 구조로부터 파악할 수 있다.
• 이 프레임워크는 딥 러닝 훈련 과정이 본질적으로 훈련 샘플에 대한 정보를 泄露하고 있음을 드러내며, 심각한 프라이버시 위험을 제기한다.