[논문 리뷰] How deep learning works --The geometry of deep learning

Xiao Dong, Jiasong Wu외 1명|arXiv (Cornell University)|2017. 10. 30.

Topological and Geometric Data Analysis참고 문헌 29인용 수 10

한 줄 요약

이 논문은 양자 계산과 디피오모르픽 템플릿 매칭의 유사성에 기반하여 딥러닝을 위한 기하적 프레임워크를 제안한다. 신경망을 리만다이만 포장 위의 곡선으로 모델링함으로써, 네트워크 성능이 다양체 곡률, 곡선의 복잡성 및 구조적 설계에 의존한다는 점을 드러내며, CNN, ResNet, RNN, GAN 등의 아키텍처 최적화를 위한 기하학적 기반을 제공한다.

ABSTRACT

Why and how that deep learning works well on different tasks remains a mystery from a theoretical perspective. In this paper we draw a geometric picture of the deep learning system by finding its analogies with two existing geometric structures, the geometry of quantum computations and the geometry of the diffeomorphic template matching. In this framework, we give the geometric structures of different deep learning systems including convolutional neural networks, residual networks, recursive neural networks, recurrent neural networks and the equilibrium prapagation framework. We can also analysis the relationship between the geometrical structures and their performance of different networks in an algorithmic level so that the geometric framework may guide the design of the structures and algorithms of deep learning systems.

연구 동기 및 목표

• 딥러닝 시스템이 어떻게 효과적으로 작동하는지 설명하는 이론적 기하학적 프레임워크를 개발하는 것.
• 네트워크를 다양체 위의 기하학적 곡선으로 모델링하여 딥러닝 시스템 설계와 알고리즘 최적화 간 격차를 메우는 것.
• CNN, ResNet, RNN, GAN 등 다양한 딥러닝 아키텍처의 성능을 그들 고유의 기하학적 구조를 통해 분석하는 것.
• 구조적 복잡성, 곡률, 최적화 역학을 기하학적 성질과 연결하여 새로운 딥러닝 시스템 설계를 이끄는 것.
• 균형 전파 및 생성 모델을 포함한 다양한 딥러닝 프레임워크를 동일한 기하학적 언어로 통합하는 것.

제안 방법

• 변환의 리만다이만 다양체 위의 곡선 $ U(t) $ 로 딥러닝 시스템을 모델링하며, 각 점은 네트워크 상태에 대응한다.
• 유니터리 연산의 다양체(예: $ U(2^n) $)에 리만다이만 계량을 정의하여 기하학적 거리로 계산 복잡도를 측정한다.
• 네트워크 학습을 기하학적 최적화 문제로 제안: 곡선 $ U(t) $ 의 길이를 최소화하는 것으로, 양자 계산의 '자유 낙하' 원리와 유사하다.
• 특정 아키텍처에 프레임워크를 적용: CNN은 $ T_{CNN} $ 상의 변환 곡선으로, ResNet은 거의 항등 변환의 순서로, RNN은 데이터 공간 $ V_{RNN} $ 상의 스트링으로 편평하게 펼쳐진 곡선으로 모델링한다.
• GAN에 대해 프레임워크를 확장하여 생성기와 판별기를 $ T_{GAN} $ 내의 결합된 곡선으로 표현하고, 부분공간에서의 국소 연산이 학습 안정성을 향상시킨다.
• 균형 전파를 템플릿 매칭에서의 기하학적 사격(geodesic shooting)으로 재해석함으로써 암묵적 최적화와 명시적 역전파를 기하학적 역학을 통해 연결한다.

실험 결과

연구 질문

• RQ1 딥러닝 시스템은 어떻게 변환의 리만다이만 다양체 위의 기하학적 곡선으로 이해될 수 있는가?
• RQ2 다양체 곡률과 곡선의 복잡성이 딥신경망의 성능에 미치는 역할은 무엇인가?
• RQ3 잔차 연결이나 재귀적 구조와 같은 아키텍처 선택은 세그먼트 길이나 리 군 구조와 같은 기하학적 성질과 어떻게 대응되는가?
• RQ4 LAPGAN, GRAN, InfoGAN과 같은 생성 모델은 제약된 복잡성과 결합된 기하학적 곡선으로 어떻게 유도되는가?
• RQ5 균형 전파를 기하학적 최적화 과정으로 해석할 수 있으며, 이는 암묵적 및 명시적 학습 프레임워크를 어떻게 통합하는가?

주요 결과

• 컨volutional 신경망의 성능은 선형 복잡성(커널 구성)과 비선형 복잡성(활성화 함수) 간의 균형에 달려 있으며, 분포가 불량하면 깊은 네트워크에서도 실패할 수 있다.
• 잔차 네트워크는 많은 짧은 거의 항등 변환으로 이루어진 곡선을 통해 복잡성 분포를 균형 있게 유지함으로써 효과 경로 길이를 줄여 뛰어난 성능을 달성한다.
• 순환 신경망은 데이터 다양체 위를 스트링이 휘감는 방식으로 시각화할 수 있으며, 스택드 또는 딥 LSTMs로 구성된 쌍용 스트링과 격자 LSTMs로 구성된 얽힌 막 구조를 형성한다.
• 생성적 적대적 네트워크는 $ T_{GAN} $ 내에서 두 곡선의 동시 최적화로 모델링되며, LAPGAN은 주파수 부분공간에서의 국소 연산을 통해 복잡성을 감소시키고 안정성을 향상시켜 학습을 개선한다.
• InfoGAN은 생성기의 복잡성을 클러스터 수준의 구조를 도입함으로써 제약하여 유연성을 낮추고 기하학적 정규화를 통해 분리성 향상을 이룬다.
• 균형 전파는 템플릿 매칭에서의 기하학적 사격과 기하학적으로 동치이며, 암묵적 최적화와 명시적 역전파 간 자연스러운 다리를 놓는다.