[논문 리뷰] On the Convergence of Gradient Descent Training for Two-layer ReLU-networks in the Mean Field Regime

Stephan Wojtowytsch|arXiv (Cornell University)|2020. 05. 27.

Neural Networks and Applications참고 문헌 64인용 수 14

한 줄 요약

이 논문은 평균 장 영역에서 두 층의 ReLU 신경망에 대해 경사 하강법의 수렴 조건을 최소 베이즈 위험으로 설정하며, 수렴 여부가 초기화에 의존하지 않고 오직 속도 잠재함수의 약한 수렴에 의해 결정됨을 보여준다. 핵심 결과는 속도 잠재함수가 국소적으로 균일하게 0으로 수렴할 경우, 근원적인 최소화자로의 수렴이 이루어지며, 이는 한정된 매개변수 분포의 존재를 가정하지 않더라도 성립함을 밝힌다.

ABSTRACT

We describe a necessary and sufficient condition for the convergence to minimum Bayes risk when training two-layer ReLU-networks by gradient descent in the mean field regime with omni-directional initial parameter distribution. This article extends recent results of Chizat and Bach to ReLU-activated networks and to the situation in which there are no parameters which exactly achieve MBR. The condition does not depend on the initalization of parameters and concerns only the weak convergence of the realization of the neural network, not its parameter distribution.

연구 동기 및 목표

• 비차별 가능한 두 층의 ReLU 신경망에 대해 Chizat과 Bach의 평균 장 수렴 결과를 확장함으로써, 기존 이론이 다루지 못하는 비가역성 문제를 해결함.
• 한정된 매개변수 분포의 존재를 요구하지 않고 최소 베이즈 위험으로의 수렴을 확립함. 이는 오직 속도 잠재함수의 극한이 유일함을 전제로 함.
• ReLU 활성화의 비가역성 문제를 해결하기 위해, 일차 동차 함수의 곱 구조를 활용함.
• 초기화에 의존하지 않는 조건을 도출하여 평균 장 근사에서 전역 최소화자로의 수렴을 보장함.
• 모르스-사르드 조건이 수렴을 보장하는 데 수행하는 역할을 분석하고, 특정 바론 함수에 대해 고차원(d ≥ 8)에서 이 조건이 실패할 수 있음을 보임.

제안 방법

• 모델을 평균 장 근사로 표현하여, 매개변수 분포가 인구 위험 기능의 2-워샤르슈트라인 경사 흐름을 따라 진화하도록 함.
• 속도 잠재함수를 위험도에 대한 매개변수 분포에 대한 기능 도함수로 정의함: $ \frac{\delta\mathcal{R}}{\delta\pi}(\pi_t; a,w,b) = \int (\partial_1\ell)(f_{\pi_t}(x),y) \, a\,\sigma(w^T x + b) \, \mathbb{P}(dx \otimes dy) $.
• ReLU가 양의 두차수 동차이면서 분해 가능하므로, 기울기 흐름에서의 비가역성 문제를 피할 수 있음을 활용함.
• 인구 위험이 최소값으로 수렴하는 것과 속도 잠재함수가 0으로 국소적으로 균일하게 수렴하는 것이 동치임을 증명함으로써 최소 베이즈 위험으로의 수렴을 확립함.
• 레벨 집합의 정규성을 보장하기 위해 데이터 분포에 대해 기술적 모르스-사르드 유형 조건을 도입하고, 이 조건이 저차원(d=2)에서는 성립하지만 고차원(d ≥ 8)에서는 실패할 수 있음을 보임.
• 콤���트성과 약한 수렴 논증을 사용하여, 속도 잠재함수가 국소적으로 균일하게 수렴하면, 매개변수 분포의 수렴을 가정하지 않더라도 위험이 최소 베이즈 위험으로 수렴함을 보임.

실험 결과

연구 질문

• RQ1 두 층의 ReLU 신경망에서 평균 장 영역에서 경사 하강법 학습이 최소 베이즈 위험으로 수렴하는 조건은 무엇인가?
• RQ2 한정된 매개변수 분포의 존재를 가정하지 않더라도 전역 최소화자로의 수렴을 보장할 수 있는가?
• RQ3 ReLU 활성화의 비가역성은 워샤르슈트라인 경사 흐름의 수렴에 어떤 영향을 미치며, 활성화의 구조적 성질을 통해 이를 극복할 수 있는가?
• RQ4 모르스-사르드 조건은 수렴을 보장하는 데 어떤 역할을 하는가? 그리고 입력 차원에 따라 이 조건의 타당성은 어떻게 달라지는가?
• RQ5 속도 잠재함수의 수렴이 최소 베이즈 위험으로의 수렴을 충분히 보장하는가? 그리고 이는 초기화에 의존하는가?

주요 결과

• 모르스-사르드 조건 하에서, 인구 위험 $ \mathcal{R}(\pi_t) $ 가 최소 베이즈 위험으로 수렴하는 것과 속도 잠재함수 $ \frac{\delta\mathcal{R}}{\delta\pi}(\pi_t) $ 가 $ t \to \infty $ 일 때 국소적으로 균일하게 0으로 수렴하는 것은 동치이다.
• 수렴 조건은 초기화에 의존하지 않으며, 오직 속도 잠재함수의 약한 수렴 행동에 의해 결정된다.
• 최소 베이즈 위험을 정확히 달성하는 매개변수 분포가 존재하지 않더라도 결과가 성립하여, 이는 이전 결과를 더 현실적인 설정으로 확장함.
• 속도 잠재함수 수렴과 위험 수렴 간의 동치성은 모르스-사르드 조건이 필요하며, 이 조건이 없더라도 속도 잠재함수가 0으로 수렴하면 여전히 동치성은 유지됨.
• 일부 바론 함수에 대해 모르스-사르드 성질은 차원 $ d \geq 8 $ 에서 실패할 수 있으며, 이는 이 조건이 항상 성립하지는 않음을 의미하지만, $ d=2 $ 에서는 성립함.
• 만약 $ \pi_t $ 가 2-워샤르슈트라인 거리에서 극한 $ \pi_\infty $ 로 수렴하고, 속도 잠재함수가 0으로 수렴한다면, $ \pi_\infty $ 는 위험 기능 $ \mathcal{R} $ 를 최소화한다.