[논문 리뷰] Convergence of Deep ReLU Networks

Yuesheng Xu, Haizhang Zhang|arXiv (Cornell University)|2021. 07. 27.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 5

한 줄 요약

이 논문은 깊이가 무한대에 가까워질 때 딥 ReLU 네트워크의 수렴 조건을 활성화 도메인과 행렬을 도입하여 설정한다. 이를 통해 네트워크 수렴 문제를 무한 행렬 곱의 수렴 문제로 재구성한다. 수렴을 위해 가중치 행렬은 항등행렬로 수렴하고 편향 벡터는 영벡터로 수렴해야 한다는 것을 증명하며, 이는 딥 릭스넷(ResNets)의 성공에 대한 이론적 근거를 제공한다.

ABSTRACT

We explore convergence of deep neural networks with the popular ReLU activation function, as the depth of the networks tends to infinity. To this end, we introduce the notion of activation domains and activation matrices of a ReLU network. By replacing applications of the ReLU activation function by multiplications with activation matrices on activation domains, we obtain an explicit expression of the ReLU network. We then identify the convergence of the ReLU networks as convergence of a class of infinite products of matrices. Sufficient and necessary conditions for convergence of these infinite products of matrices are studied. As a result, we establish necessary conditions for ReLU networks to converge that the sequence of weight matrices converges to the identity matrix and the sequence of the bias vectors converges to zero as the depth of ReLU networks increases to infinity. Moreover, we obtain sufficient conditions in terms of the weight matrices and bias vectors at hidden layers for pointwise convergence of deep ReLU networks. These results provide mathematical insights to the design strategy of the well-known deep residual networks in image classification.

연구 동기 및 목표

• 깊이가 무한대에 가까워질 때 특정 타겟 함수에 의존하지 않고 딥 ReLU 네트워크의 수렴을 조사하는 것.
• 딥 ReLU 네트워크의 출력이 의미 있는 극한 함수로 안정화되는 수학적 조건을 규명하는 것.
• 이미지 분류 분야에서 최고 성능을 기록한 딥 릭스넷(ResNets)의 설계에 대한 이론적 근거를 제공하는 것.
• 활성화 도메인과 활성화 행렬을 도입하여 딥 ReLU 네트워크의 행동을 체계화하고, 네트워크 동역학을 행렬 곱 형태로 표현하는 것.

제안 방법

• 입력 공간의 부분영역인 활성화 도메인 개념을 도입한다. 이는 ReLU 네트워크가 선형 함수로 작동하는 영역이다.
• 각 활성화 도메인에서 ReLU 유닛의 상태를 나타내는 대각행렬(항목이 0 또는 1인)인 활성화 행렬을 정의한다.
• ReLU 적용을 활성화 행렬을 사용한 행렬 곱셈으로 대체함으로써, 네트워크를 선형 변환의 복합체로 명시적으로 표현할 수 있도록 한다.
• 딥 ReLU 네트워크의 수렴 문제를 활성화 행렬과 가중치 행렬의 무한 곱의 수렴 문제로 재구성한다.
• 행렬 곱 수렴 이론을 적용하여 수렴을 위한 필요 및 충분 조건을 도출하며, 노름과 합산 가능성 조건을 사용한다.
• 유도된 행렬 노름과 지수적 경계를 사용하여, 가중치 행렬과 편향 벡터의 합산 가능한 변형 하에서 무한 곱의 수렴을 검증한다.

실험 결과

연구 질문

• RQ1 깊이가 무한대에 가까워질 때 가중치 행렬과 편향 벡터가 어떤 조건을 만족해야 딥 ReLU 네트워크가 점별 수렴하는가?
• RQ2 ReLU 활성화가 유도하는 비선형성은 깊은 네트워크에서 체계적으로 분석하고 표현할 수 있는가?
• RQ3 딥 릭스넷(ResNets)이 매우 깊은 아키텍처를 가능하게 하는 데 배경이 되는 수학적 구조는 무엇인가?
• RQ4 딥 ReLU 네트워크의 수렴을 무한 행렬 곱의 수렴으로 환원할 수 있는가?
• RQ5 항등행렬은 딥 ReLU 네트워크의 학습 및 추론 과정에서 안정성을 확보하는 데 어떤 역할을 하는가?

주요 결과

• 딥 ReLU 네트워크 수렴을 위한 필수 조건은 깊이가 증가함에 따라 가중치 행렬의 수열이 항등행렬로 수렴하고, 편향 벡터의 수열이 영벡터로 수렴해야 한다는 것이다.
• 점별 수렴을 위한 충분 조건은 가중치 행렬이 $\mathbf{W}_n = I + \mathbf{P}_n$ 를 만족하고 $\sum_{n=2}^\infty \|\mathbf{P}_n\| < \infty$ 이며, 편향 벡터가 $\sum_{n=1}^\infty \|\mathbf{b}_n\| < \infty$ 를 만족해야 한다는 것이다.
• 네트워크의 수렴은 노름 기반의 합산 가능성 조건을 통해 확립된 무한 행렬 곱의 수렴과 동치이다.
• 네트워크 출력의 극한은 $\lim_{n\to\infty} \mathbf{W}_n \mathbf{x} + \mathbf{b}_n = \mathbf{x}$ 를 만족하며, 이는 깊은 층들이 점점 더 작은 항등행렬에 가까운 변환을 적용한다는 것을 나타낸다.
• 이론적 프레임워크는 릭스넷 설계를 지지하며, 잔차 블록들이 0에 가까운 작은 잔차 함수를 학습함으로써 효과적으로 항등행렬을 근사한다는 점을 설명한다.
• 결과적으로 이는 릭스넷이 초고도로 깊은 네트워크(예: 1000층 이상)에서도 성공적으로 학습될 수 있는 이유에 대한 수학적 기초를 제공한다. 잔차 구조는 안정적인 기울기 흐름과 수렴을 보장하기 때문이다.