[논문 리뷰] Early-stopped neural networks are consistent

Ziwei Ji, Justin D. Li외 1명|arXiv (Cornell University)|2021. 06. 10.

Stochastic Gradient Optimization Techniques참고 문헌 39인용 수 9

한 줄 요약

이 논문은 깊이가 얕은 ReLU 네트워크에서 경사하강법에 조기 정지(early stopping)를 적용할 경우, 일반적인 이진 분류 문제에 대해 최적의 인구 위험(population risk), 校정(calibration), 오분류 오차(misclassification error)를 달성함을 보여준다. 이는 베이즈 위험(Bayes risk)이 0이 아닐 경우에도 성립한다. 논문은 로지스틱 손실, 校정, 테스트 오차 측면에서 일致성(consistency)을 증명하며, 이는 진짜 조건부 모델의 본질적 복잡도에 자연스럽게 스케일링된다.

ABSTRACT

This work studies the behavior of shallow ReLU networks trained with the logistic loss via gradient descent on binary classification data where the underlying data distribution is general, and the (optimal) Bayes risk is not necessarily zero. In this setting, it is shown that gradient descent with early stopping achieves population risk arbitrarily close to optimal in terms of not just logistic and misclassification losses, but also in terms of calibration, meaning the sigmoid mapping of its outputs approximates the true underlying conditional distribution arbitrarily finely. Moreover, the necessary iteration, sample, and architectural complexities of this analysis all scale naturally with a certain complexity measure of the true conditional model. Lastly, while it is not shown that early stopping is necessary, it is shown that any univariate classifier satisfying a local interpolation property is inconsistent.

연구 동기 및 목표

• 일반적인 이진 분류 작업에 대해 얕은 ReLU 네트워크에서 경사하강법에 조기 정지를 적용할 경우 이론적 일치성(theoretical consistency)을 확립하는 것.
• 베이즈 위험이 0이 아닌 임의의 데이터 분포 하에서 최적의 인구 위험, 校정 및 오분류 오차로의 수렴을 분석하는 것.
• 진짜 조건부 모델의 복잡도 측도에 따라 필요한 표본 수, 네트워크 너비, 반복 횟수의 복잡도가 자연스럽게 스케일링됨을 보이는 것.
• 조기 정지가 필수적임을 입증하기 위해, 국소적 보간 성질(local interpolation property)을 만족하는 임의의 단변량 분류기가 노이즈가 있는 분포 하에서 일관성이 없음을 보이는 것.

제안 방법

• 로그스틱 손실에 대해 일정한 스텝 크기의 경사하강법으로 훈련되는, 입력층 가중치만을 갖는 얕은 ReLU 네트워크를 분석한다.
• 네트워크 출력을 표현하기 위해 무작위 기저 모델을 사용하며, 이는 무작위 부호와 가우시안 가중치를 갖는다: $ f(x) = \frac{\rho}{\sqrt{m}} \sum_{j=1}^{m} a_j \sigma_{\text{r}}(w_j^\top x) $.
• 로지스틱 손실의 곱셈 오차 성질(multiplicative error property)을 활용하여 수렴 보장을 강화한다 (보조정리 A.1).
• McDiarmid의 부등식을 적용하여 데이터 내 연속된 쌍의 수를 제어하고, 질량이 작은 간격의 수를 제한한다.
• 두 시스템 간격 분할(I 및 J)을 사용하여 데이터 샘플링 중에 점유된 상자 수의 기대값을 상한으로 제시하며, 이는 근접한 쌍의 수 제어에 기여한다.
• 표본 위험과 노름 제약 조건이 인구 위험(population risk)이 베이즈 위험으로 수렴하게 함으로써 일관성을 확립한다.

실험 결과

연구 질문

• RQ1 임의의 데이터 분포 하에서, 조기 정지를 적용한 경사하강법이 일반적인 이진 분류 문제에서 최적의 인구 위험을 달성할 수 있는가?
• RQ2 얕은 ReLU 네트워크의 조기 정지 훈련이 시그모이드 출력의 진짜 조건부 확률 $ \mathbb{P}[Y=1|X=x] $ 에 대해 일관된 校정을 이끌어낼 수 있는가?
• RQ3 표본 크기, 네트워크 너비, 훈련 반복 횟수는 진짜 조건부 모델의 복잡도에 따라 어떻게 스케일링되는가?
• RQ4 일관성이 유지되기 위해 조기 정지는 필수적인가, 아니면 정규화되지 않은 훈련도 최적의 테스트 오차를 달성할 수 있는가?
• RQ5 일관성이 없는 노이즈가 있는 데이터 하에서, 단변량 분류기의 국소적 보간 성질이 일관성을 해칠 수 있는가?

주요 결과

• 조기 정지를 적용한 경사하강법은 진짜 조건부 모델이 임의이거나 노이즈가 있을 경우에도, 임의의 가측 함수에 대해 베이즈 위험에 임의로 가까운 인구 위험을 달성한다.
• 네트워크의 시그모이드 출력은 진짜 조건부 확률 $ \mathbb{P}[Y=1|X=x] $ 에 대해 임의로 잘 校정되며, 이는 적절한 신뢰도 추정을 보장한다.
• 오분류 오차는 최적의 값으로 수렴하므로, 이는 표준 분류 의미에서 일관성이 있음을 의미한다.
• 필요한 표본 수, 네트워크 너비, 훈련 반복 횟수는 진짜 조건부 모델의 복잡도 측도에 따라 자연스럽게 스케일링되며, 이는 데이터의 단순성 반영한다.
• 국소적 보간 성질을 만족하는 임의의 단변량 분류기는 노이즈가 있는 분포 하에서 일관성이 없으며, 이는 이러한 설정에서 조기 정지가 일관성 유지를 위해 필수적임을 시사한다.
• 분석을 통해 로지스틱 손실의 새로운 곱셈 오차 성질과 전체 입력 구면에서 넓은 네트워크 효과를 제어하는 기법을 제시하며, 이는 더 넓은 맥락에서 유용할 수 있다.