[논문 리뷰] WHY DOES UNSUPERVISED DEEP LEARNING WORK? - A PERSPECTIVE FROM GROUP THEORY

Arnab Paul, Suresh Venkatasubramanian|arXiv (Cornell University)|2015. 01. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 20인용 수 3

한 줄 요약

이 논문은 비지도 학습 딥 러닝이 작동하는 이유를 설명하기 위해 군 이론적 프레임워크를 제안한다. 여기서 사전 훈련 과정은 최소 군 궤도를 가진 특징을 찾는 것과 대응되며, 직관적으로 가장 단순한 특징을 의미한다. 이는 딥 네트워크가 먼저 단순한 표현을 학습하는 이유를 설명한다. 층을 거쳐 반복적으로 이 과정를 적용하면, 신경망 행동을 근사하는 '쉐이드 군'의 구조를 통해 점점 더 복잡한 고차원 표현이 포착된다.

ABSTRACT

Why does Deep Learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of group theory, thereby opening a new approach towards a theory of Deep learning. One factor behind the recent resurgence of the subject is a key algorithmic step called pretraining: first search for a good generative model for the input samples, and repeat the process one layer at a time. We show deeper implications of this simple principle, by establishing a connection with the interplay of orbits and stabilizers of group actions. Although the neural networks themselves may not form groups, we show the existence of shadow groups whose elements serve as close approximations. Over the shadow groups, the pretraining step, originally introduced as a mechanism to better initialize a network, becomes equivalent to a search for features with minimal orbits. Intuitively, these features are in a way the simplest. Which explains why a deep learning network learns simple features first. Next, we show how the same principle, when repeated in the deeper layers, can capture higher order representations, and why representation complexity increases as the layers get deeper.

연구 동기 및 목표

• 비지도 학습 딥 러닝이 의미 있는 표현을 학습하는 이유를 이해하는 것.
• 딥 네트워크에서 계층적이고 점점 더 복잡한 표현이 어떻게 나타나는지 설명하는 것.
• 사전 훈련을 특징 탐색의 메커니즘으로서 이론적 기반을 제공하는 것.
• 군 작용(궤도와 안정자)과 딥 신경망의 학습 역학 사이의 연결 고리를 설정하는 것.

제안 방법

• 딥 뉴럴 네트워크 층의 행동을 반영하는 근사 군 구조를 모델링하는 '쉐이드 군' 개념을 도입한다.
• 사전 훈련 과정을 최소 군 궤도를 가진 특징을 찾는 것으로 모델링하며, 이는 가장 단순하고 변하지 않는 표현에 해당한다.
• 군 궤도와 안정자 간의 상호작용을 활용하여 특징이 층을 거쳐 선택되고 정교해지는 방식을 수식화한다.
• 사전 훈련 단계를 층을 거쳐 반복 적용하면 궤도 최소화의 계층적 구조를 통해 점점 더 복잡한 표현이 나타나는 것을 보여준다.
• 신경망이 군을 이루지 않더라도, 쉐이드 군을 통해 군 이론적 원리로 학습 역학을 근사할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 왜 딥 신경망은 복잡한 특징보다 먼저 단순한 특징을 학습하는가?
• RQ2 비지도 학습에서 사전 훈련 과정이 군 이론적 구조와 어떻게 관련이 있는가?
• RQ3 군 작용의 궤도와 안정자가 계층적 표현의 출현에 어떤 역할을 하는가?
• RQ4 더 깊은 층에서의 학습 과정은 궤도 크기의 반복적 최소화를 통해 어떻게 설명될 수 있는가?

주요 결과

• 딥 네트워크에서의 사전 훈련은 최소 군 궤도를 가진 특징을 찾는 것으로 대응되며, 이는 가장 단순하고 변하지 않는 표현에 해당한다.
• '쉐이드 군' 개념은 네트워크 자체가 군이 아니더라도, 군 이론적 원리를 활용해 신경망 행동을 이론적으로 근사하는 데 기여한다.
• 사전 훈련 단계를 층을 거쳐 반복 적용하면 궤도 구조의 계층적 정교화를 통해 고차원 표현이 나타나는 것을 확인할 수 있다.
• 최소 궤도를 가진 특징은 변환에 대해 가장 안정적이고 불변적이므로, 딥 러닝에서 관찰된 인덕티브 바이어스가 설명된다.