[논문 리뷰] Why does Deep Learning work? - A perspective from Group Theory

Arnab Paul, Suresh Venkatasubramanian|arXiv (Cornell University)|2014. 12. 20.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 13

한 줄 요약

이 논문은 군론적 프레임워크를 제안하여 딥러닝이 작동하는 이유를 설명한다. 자동에코더에서의 사전 훈련은 궤도가 최소인 특징을 찾는 것으로 해석되며, 이는 안정자 부분군이 작은 특징이 더 먼저 학습되기 때문이다. 이 이론은 반복적인 궤도-안정자 최적화를 통해 계층적 표현 학습이 이루어지는 방식을 설명한다.

ABSTRACT

Why does Deep Learning work? What representations does it capture? How do higher-order representations emerge? We study these questions from the perspective of group theory, thereby opening a new approach towards a theory of Deep learning. One factor behind the recent resurgence of the subject is a key algorithmic step called pre-training: first search for a good generative model for the input samples, and repeat the process one layer at a time. We show deeper implications of this simple principle, by establishing a connection with the interplay of orbits and stabilizers of group actions. Although the neural networks themselves may not form groups, we show the existence of {\em shadow} groups whose elements serve as close approximations. Over the shadow groups, the pre-training step, originally introduced as a mechanism to better initialize a network, becomes equivalent to a search for features with minimal orbits. Intuitively, these features are in a way the {\em simplest}. Which explains why a deep learning network learns simple features first. Next, we show how the same principle, when repeated in the deeper layers, can capture higher order representations, and why representation complexity increases as the layers get deeper.

연구 동기 및 목표

• 군론을 활용하여 딥러닝의 이론적 기반을 구축하고, 특히 표현 학습과 특징 계층에 중점을 둔다.
• 군 작용과 안정자와의 연관성을 통해 비지도 사전 훈련이 효과적인 딥 네트워크 훈련을 가능하게 하는 이유를 설명한다.
• 깊이 있는 레이어가 궤도-안정자 원리를 반복 적용함으로써 점차 더 복잡한 표현을 학습하는 방식을 수학적으로 형식화한다.
• 신경망 연산과 호메오모르피즘 사이의 수학적 연결을 수립하여, 학습된 변환들이 군 원소를 근사함을 보여준다.
• 특징의 단순성과 작은 군 궤도 사이의 상관관계를 입증함으로써, 훈련 과정에서 단순한 특징이 먼저 나타나는 경험적 관찰을 설명한다.

제안 방법

• 입력 신호에 작용하는 변환으로 자동에코더를 모델링하며, 학습된 가중치 행렬을 군 원소를 근사하는 연산자로 간주한다.
• 신경망 가중치 행렬이 신호 공간에서 군 작용을 모방하는 근사 군인 '섀도 군(Shadow Groups)'의 개념을 도입한다.
• 궤도-안정자 정리를 적용한다: 더 작은 궤도는 더 큰 안정자와 관련되며, 더 큰 안정자(더 단순한 구조)를 가진 특징이 먼저 학습된다.
• 신호 공간에서의 호메오모르피즘을 사용하여 네트워크 변환을 모델링하고, 각 학습된 변환이 GL(S) 내 선형 연산자로 국소적으로 근사될 수 있음을 증명한다.
• 군 원소 g에서 네트워크 연산 τ_f로의 리프팅 맵 U(g)를 정의하여, 내재 공간에서의 군 작용이 네트워크 레이어 함수와 대응됨을 보여준다.
• 리프팅 맵의 단사성 확보: 두 군 원소가 모든 도형에 대해 동일한 네트워크 동작을 유도한다면, 이들은 반드시 동일해야 하며, 이는 군 구조의 충실한 표현을 보장한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 사전 훈련 과정에서 복잡한 특징보다 단순한 특징을 먼저 학습하는 이유는 무엇인가?
• RQ2 자동에코더의 계층적 사전 훈련 과정이 군론적 원칙과 어떻게 관련되어 있는가?
• RQ3 딥 네트워크에서 계층적 표현이 나타나는 수학적 메커니즘은 무엇인가?
• RQ4 신경망 가중치 행렬을 신호 공간에서 작용하는 군 원소의 근사로 해석할 수 있는가?
• RQ5 군 작용에서의 안정자와 궤도가 딥러닝에서 학습된 특징과 그 복잡성과 어떻게 대응되는가?

주요 결과

• 자동에코더에서의 사전 훈련은 궤도가 최소인 특징을 찾는 것으로 해석되며, 이는 수학적으로 큰 안정자 부분군과 관련된다.
• 더 단순한 특징(예: 선분)은 군 작용 하에서 더 작은 궤도를 가지며, 이는 훈련 초반에 더 쉽게 발견될 가능성이 높다.
• 이 이론은 더 깊은 레이어가 점차 더 복잡한 표현을 학습하는 이유를 설명한다: 각 레이어는 고위 특징에 대해 동일한 궤도-안정자 원리를 재귀적으로 적용한다.
• 신경망 변환은 신호 공간에서의 호메오모르피즘으로 모델링할 수 있으며, 그 국소적 행동은 GL(S) 내 선형 연산자로 근사되어 미분 가능성과 가역성을 보장한다.
• 군 원소에서 네트워크 연산으로의 리프팅 맵 U(g)는 단사적이며, 이는 서로 다른 군 작용이 서로 다른 네트워크 행동을 유도함을 증명한다.
• 이 프레임워크는 시그모이드 활성화 함수를 초월하여 다른 임계값 함수(예: ReLU)로도 확장 가능하며, 이에 따라 내재 신호 공간과 모듈리 공간이 변화한다.