[논문 리뷰] When does gradient descent with logistic loss find interpolating two-layer networks?

Niladri S. Chatterji, Philip M. Long외 1명|arXiv (Cornell University)|2020. 12. 04.

Stochastic Gradient Optimization Techniques참고 문헌 60인용 수 4

한 줄 요약

이 논문은 두 층으로 이루어진 유한한 너비의 ReLU 네트워크에서 경사하강법과 로지스틱 손실을 사용할 때, 두 가지 조건 하에 훈련 손실이 유한한 시간 내에 0이 되도록 한다: (1) 초기 손실이 작을 경우, 또는 (2) 데이터가 네 개의 잘 분리된 클러스터로 구성되어 있고, 무작위로 초기화된 가우시안 초기화 하에 한 단계의 경사하강법이 충분히 손실을 감소시킬 경우. 주요 기여는 NTK 기반 분석이 로지스틱 손실에 대해 실패하는 한계를 극복하기 위해, 기울기 정렬과 부드러움을 통한 지수적 속도에 가까운 손실 감소를 증명하는 데 있다.

ABSTRACT

We study the training of finite-width two-layer smoothed ReLU networks for binary classification using the logistic loss. We show that gradient descent drives the training loss to zero if the initial loss is small enough. When the data satisfies certain cluster and separation conditions and the network is wide enough, we show that one step of gradient descent reduces the loss sufficiently that the first result applies.

연구 동기 및 목표

• 유한한 너비의 두 층으로 이루어진 신경망에서 로지스틱 손실을 사용하는 경사하강법이 어떻게 보간 솔루션을 찾는지 조건을 이해하는 것.
• 로지스틱 손실에 대해 발산하는 매개변수 궤적 때문에 실패하는 신경 터널 커널(NTK) 분석의 한계를 극복하는 것.
• 초기 손실이 작거나, 한 단계의 경사하강법이 충분히 손실을 감소시킬 경우, 빠른 수렴이 이루어지는 이론적 조건을 설정하는 것.
• 비볼록성과 비균일한 활성화에도 불구하고, 기울기 정렬과 부드러움이 빠른 손실 감소를 가능하게 하는 역할를 분석하는 것.
• 실제의 클러스터 구조를 가진 설정에서 무작위 초기화와 한 단계의 경사하강법이 손실 감소에 기여하는 이유를 설명하는 프레임워크를 제공하는 것.

제안 방법

• 이론적 분석의 가능성을 확보하기 위해, 유연성과 부드러움을 보장하기 위해 비부드러운 ReLU나 Swish 대신 Huberized ReLU 활성화를 사용한다.
• 기울기의 노름 하한을 손실과 가중치 크기의 함수로 유도하기 위해, 음의 기울기와 가중치 벡터 간의 정렬을 분석한다.
• 가우시안 초기화에 대한 농도 및 반농도 불등식을 적용하여, '좋은' 은닉 유닛이 업데이트를 지배하고, 혼란을 유발하는 영향을 압도함을 보여준다.
• Borell-TIS 부등식을 사용하여 한 단계 이후의 가중치 벡터의 노름을 유한한 범위 내에 유지함을 유도한다.
• 손실 감소가 가중치 변화에 비해 상당히 크다는 점을 증명하여 발산을 방지하고 지속적인 진전을 가능하게 한다.
• 두 단계 분석을 사용한다: 첫째, 초기 손실이 작을 경우 수렴을 보여주고, 둘째, 클러스터 가정 하에 한 단계의 경사하강법이 충분히 손실을 감소시킴을 증명한다.

실험 결과

연구 질문

• RQ1 유한한 너비의 두 층으로 이루어진 ReLU 네트워크에서, 로지스틱 손실을 사용하는 경사하강법이 훈련 손실을 언제 0으로 이끌 수 있는가?
• RQ2 초기 손실이 크지 않은 경우에도, 무작위 가우시안 초기화 하에 한 단계의 경사하강법이 충분히 손실을 감소시켜 수렴을 유도할 수 있는가?
• RQ3 비볼록성과 비균일한 활성화 환경에서, 기울기와 가중치 벡터 간의 정렬이 어떻게 빠른 손실 감소를 가능하게 하는가?
• RQ4 기존의 NTK 기반 분석은 왜 로지스틱 손실의 수렴을 설명하지 못하며, 어떤 대체 기법이 이를 극복할 수 있는가?
• RQ5 Huberized ReLU의 부드러움이 훈련 동역학의 이론적 분석을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 초기 로지스틱 손실이 충분히 작을 경우, 네트워크의 너비나 샘플 수에 관계없이 경사하강법이 손실을 0으로 이끈다.
• 네 개의 잘 분리된 클러스터(각 클래스당 두 개)가 존재할 경우, 무작위 가우시안 초기화 하에 한 단계의 경사하강법이 손실을 $\exp(-\Omega(p^{1/2-\beta}))$ 이하로 감소시킨다. 여기서 $p$는 은닉 유닛의 수이며, $\beta > 0$ 이다.
• 한 단계 이후의 가중치 벡터의 노름은 고확률로 $\frac{3}{5}\sqrt{\frac{d}{p^{\beta}}}$ 와 $3\sqrt{\frac{d}{p^{\beta}}}$ 사이에 유지되어 안정성을 확보한다.
• 기울기와 가중치 벡터 간의 정렬은 기울기 노름에 하한을 제공하며, 이는 빠른 초반 손실 감소를 보장한다.
• 분석 결과, 손실 감소가 가중치 변화에 비해 상당히 크며, 이는 발산을 방지하고 지속적인 진전을 가능하게 한다.
• 구조화된 데이터와 부드러운 활성화 조건 하에 지수적 감소에 가까운 손실 감소가 가능함을 입증하였으며, 이는 NTK 기반 분석에서 관찰되는 다항식 감소와 대비된다.