[논문 리뷰] Why are deep nets reversible: A simple theory, with implications for training

Sanjeev Arora, Yingyu Liang외 1명|arXiv (Cornell University)|2015. 11. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 15인용 수 41

한 줄 요약

이 논문은 깊이 있는 ReLU 네트워크가 역행 가능한 이유에 대한 단순한 이론적 설명을 제안한다: 무작위성과 유사한 가중치 가정 하에 생성 모델은 전방전파 네트워크의 역방향, 즉 전치된 가중치를 사용하는 것이다. 이 논문은 합성 데이터를 사용하여 훈련을 향상시키는 SHADOW 방법을 도입하며, 합성 데이터에서 일반화 성능 향상과 오차 추적 성능 향상을 입증한다. 이는 CIFAR-10, CIFAR-100, MNIST에서 드롭아웃 유무에 관계없이 검증되었다.

ABSTRACT

Generative models for deep learning are promising both to improve understanding of the model, and yield training methods requiring fewer labeled samples. Recent works use generative model approaches to produce the deep net's input given the value of a hidden layer several levels above. However, there is no accompanying "proof of correctness" for the generative model, showing that the feedforward deep net is the correct inference method for recovering the hidden layer given the input. Furthermore, these models are complicated. The current paper takes a more theoretical tack. It presents a very simple generative model for RELU deep nets, with the following characteristics: (i) The generative model is just the reverse of the feedforward net: if the forward transformation at a layer is $A$ then the reverse transformation is $A^T$. (This can be seen as an explanation of the old weight tying idea for denoising autoencoders.) (ii) Its correctness can be proven under a clean theoretical assumption: the edge weights in real-life deep nets behave like random numbers. Under this assumption ---which is experimentally tested on real-life nets like AlexNet--- it is formally proved that feed forward net is a correct inference method for recovering the hidden layer. The generative model suggests a simple modification for training: use the generative model to produce synthetic data with labels and include it in the training set. Experiments are shown to support this theory of random-like deep nets; and that it helps the training.

연구 동기 및 목표

• 딥 ReLU 네트워크의 생성 모델링에서의 역행성에 대한 이론적 근거를 제공하는 것.
• 딥 러닝에서 특히 입력에서 은닉 표현을 복원하는 데 있어 공식적인 정확성 증명의 부족을 해결하는 것.
• 네트워크의 자체 은닉 레이어에서 생성된 합성 샘플을 사용한 단순하고 이론적으로 타당한 데이터 증강 방법을 제안하는 것.
• 합성 데이터가 역방향 프로세스를 통해 생성될 경우 실제 훈련 성능 향상과 일반화 성능 향상이 실제로 이루어지는지 경험적으로 검증하는 것.

제안 방법

• 실제 세계의 딥 넷이 간선 가중치의 집합 통계적 성질이 무작위 행렬과 유사하다는 '무작위성과 유사한 가중치 가정'을 제안한다.
• 생성 모델을 전방전파 네트워크의 역방향으로 정의하며, 은닉 표현 z로부터 p(x|z)를 전치된 가중치 행렬을 사용하여 계산한다.
• SHADOW 방법을 도입한다: 각 레이블이 부여된 입력 x에 대해 전방향 전파를 통해 은닉 표현 z를 계산하고, 이후 역방향 전파를 통해 합성 입력 x̃를 생성하며, (x̃, z) 쌍을 훈련 세트에 추가한다.
• 다양한 변형을 적용한다: 다른 은닉 레이어(h₂ 또는 h₃) 사용, 생성 과정에서 드롭아웃 노이즈 추가, 이미지 스무딩 적용을 통해 강건성 향상.
• 그림자 분포를 네트워크의 내부 표현과 일치하는 현실적인 합성 데이터를 생성하는 원칙적인 방법으로 사용한다.
• CIFAR-10, CIFAR-100, MNIST에서 경험적으로 방법을 테스트하며, 드롭아웃 유무 및 다양한 합성 데이터 생성 전략을 비교한다.

실험 결과

연구 질문

• RQ1 입력에서 은닉 표현을 복원하는 데 있어 전방전파 네트워크가 올바른 추론 방법이 되는 조건은 무엇인가?
• RQ2 전치된 가중치를 기반으로 하는 단순한 역행성 변환을 사용해 깊이 있는 ReLU 네트워크의 생성 모델을 공식적으로 정당화할 수 있는가?
• RQ3 역방향 네트워크 프로세스를 통해 생성된 합성 데이터가 실제로 일반화 성능 향상과 훈련 성능 향상에 기여하는가?
• RQ4 실제로 h₂와 h₃에서 생성된 합성 데이터의 성능는 어떻게 비교되는가?
• RQ5 합성 데이터 생성 시 추가적인 정규화 기법(예: 샘플링, 스무딩)을 적용하면 모델의 강건성이 더욱 향상되는가?

주요 결과

• SHADOW 방법은 CIFAR-10, CIFAR-100, MNIST에서 훈련 중 오차 감소 속도를 크게 향상시키며, 드롭아웃을 사용한 표준 백프로파게이션 대비 성능 우위를 유지한다.
• 합성 데이터에서의 테스트 오차는 실제 데이터에서의 테스트 오차와 밀접하게 추적되며, 그림자 분포가 진정한 데이터 분포의 타당한 대체물임을 이론적 예측이 검증됨을 시사한다.
• h₂ 대신 h₃를 사용해 합성 데이터를 생성할 경우 유사하거나 더 나은 성능을 기록하며, 이는 고수준 표현이 현실적인 입력을 효과적으로 생성할 수 있음을 시사한다.
• 생성 과정에서 샘플링(예: 드롭아웃)을 추가하면 분산은 증가하지만 최종 오차는 유사하게 유지되며, 이는 방법의 강건성을 뒷받침한다.
• 합성 데이터에 이미지 스무딩을 적용하면 최종 테스트 오차가 감소하며, 이는 부드러움과 같은 인덕티브 바이어스를 통합할 경우 일반화 성능 향상이 가능함을 시사한다.
• 경험적 검증을 통해 실제 딥 넷, 예를 들어 AlexNet이 무작위성과 유사한 성질을 보임을 확인하였다—가중치 요소는 약간의 독립 동일 분포(i.i.d.)를 이루며, 특이치는 1/4 원형 법칙을 따른다—이를 통해 이론적 가정이 타당함을 뒷받对方한다.