[논문 리뷰] When does gradient descent with logistic loss interpolate using deep networks with smoothed ReLU activations?

Niladri S. Chatterji, Philip M. Long외 1명|arXiv (Cornell University)|2021. 02. 09.

Stochastic Gradient Optimization Techniques참고 문헌 66인용 수 5

한 줄 요약

이 논문은 스위시 및 허버라이즈드 ReLU와 같은 스무딩된 활성화를 사용하는 딥 ReLU 네트워크에서 경사 하강법과 로지스틱 손실을 사용할 때, 훈련 손실이 0이 되는 조건을 규명한다. 수렴를 보장하는 두 가지 충분조건을 제시한다: (1) 초기 손실이 작을 때, (2) 초기화 시 신경 탄성 커널 특징을 통한 데이터 분리 가능성이며, 기울기 정렬 및 손실 부드러움 분석을 통해 속도 한계를 도출한다.

ABSTRACT

We establish conditions under which gradient descent applied to fixed-width deep networks drives the logistic loss to zero, and prove bounds on the rate of convergence. Our analysis applies for smoothed approximations to the ReLU, such as Swish and the Huberized ReLU, proposed in previous applied work. We provide two sufficient conditions for convergence. The first is simply a bound on the loss at initialization. The second is a data separation condition used in prior analyses.

연구 동기 및 목표

• 스무딩된 ReLU 활성화를 갖는 딥 네트워크에서 로지스틱 손실을 사용하는 경사 하강법이 언제 훈련 손실을 0으로 이끌 수 있는지 이해하는 것.
• 수렴이 0 손실로 이루어지는 데 필요한 조건—특히 초기 손실 크기 또는 데이터 분리 가능성—을 규명하는 것.
• 이전의 두 층 네트워크 결과를 스무딩된 ReLU 근사치를 사용하는 딥 아키텍처로 일반화하는 것.
• 로지스틱 손실 하에서 유한한 너비의 네트워크에서 파라미터 궤적이 유계가 아니므로 실패하는 신경 탄성 커널(NTK) 프레임워크의 한계를 극복하는 것.

제안 방법

• 스위시 및 허버라이즈드 ReLU와 같은 스무딩된 ReLU 활성화를 사용하여 경사 하강법의 역학을 분석한다.
• 초기 손실이 작을 경우, 음의 기울기가 네트워크 가중치와 정렬됨을 보여주며, 각 단계에서 기울기 노름의 하한을 확보한다.
• 기울기 단계의 주변에서 손실의 부드러움을 이용하여, 작은 스텝 크기로 인해 손실 감소가 단계 전반에 걸쳐 일관되게 유지됨을 보인다.
• 신경 탄성 커널(NTK) 분석을 적용하여, 데이터 분리 조건이 성립할 경우 초기 훈련 단계에서 손실이 충분히 감소함을 보인다.
• 이전 결과 [ALS19, Zou+20]을 스무딩된 ReLU 환경에 적응시키며, 비-ReLU 활성화 특성 고려를 위해 증명을 조정한다.
• 서브-가우시안 및 서브-지수 농도 부등식과 같은 확률 도구를 활용하고, 희소 벡터에 대한 ε-넷을 구성하여 일반화 오차 한계를 제어한다.

실험 결과

연구 질문

• RQ1 유한한 너비의 딥 네트워크에서 스무딩된 ReLU 활성화를 사용할 때, 로지스틱 손실을 동반한 경사 하강법이 언제 훈련 손실을 0으로 수렴하는가?
• RQ2 초기 손실이 작을 경우, 음의 기울기와 네트워크 가중치 간의 정렬이 어떻게 수렴을 가능하게 하는가?
• RQ3 표준 NTK 분석이 파라미터 이동이 무한대가 되는 이유로 실패하는 바에 비해, 스무딩된 ReLU 근사치를 사용하는 딥 네트워크로 수렴 보장을 어떻게 일반화할 수 있는가?
• RQ4 초기화 시점의 특징이 데이터를 여유 있는 마진으로 분리할 수 있는 조건—즉, 데이터 분리 가능성 조건—이 초기 훈련 단계에서 손실 감소를 보장하는 데 충분한가?
• RQ5 제안된 조건 하에서 수렴 속도는 초기 손실과 네트워크 너비에 따라 어떻게 달라지는가?

주요 결과

• 스무딩된 ReLU 활성화를 사용할 경우, 초기 손실이 작다면 네트워크 너비에 관계없이 경사 하강법이 로지스틱 손실을 0으로 이끈다.
• 핵심 메커니즘은 각 단계 시작 시 음의 기울기가 네트워크 가중치와 정렬되어 기울기 노름에 하한을 제공하고, 이로 인해 손실 감소가 보장된다는 것이다.
• 각 기울기 단계의 초기점 주변에서 손실의 부드러움 덕분에 작은 스텝 크기로 인해 손실 감소가 단계 전반에 걸쳐 일관되게 유지된다.
• 신경 탄성 커널 특징이 초기화 시점에서 데이터를 여유 있는 마진으로 분리할 수 있는 조건이 성립할 경우, 초기 반복 단계에서 손실 감소가 충분히 이루어져 첫 번째 수렴 조건이 유도된다.
• 이 분석은 허버라이즈드 ReLU를 사용하는 두 층 네트워크에 대한 이전 결과를 더 넓은 가정 하에 딥 아키텍처로 일반화한다. 이는 양의 동차성과 부드러움을 요구하는 이전 결과보다 더 약한 조건을 사용한다.
• 결과는 스위시 및 허버라이즈드 ReLU와 같이 실용적으로 널리 사용되지만, 이전 이론 분석에서 비부드러움 또는 비동차성로 인해 제외되었던 실질적 활성화 함수에 대해 강건함을 보인다.