[논문 리뷰] Stochastic Gradient/Mirror Descent: Minimax Optimality and Implicit Regularization

Navid Azizan, Babak Hassibi|arXiv (Cornell University)|2018. 06. 04.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 14

한 줄 요약

이 논문은 소음이 있는 거울 강하(SMD)에 대한 기본 항등식을 확립하여, 작은 스텝 사이즈 하에서 최소최대 최적성(minimax optimality)을 유도하고 비선형 모델 및 손실 함수로 일반화됨을 보여준다. SMD는 과다 매개변수화된 선형 모델에서 수렴하고 암묵적 정규화를 유도함을 보이며, 딥 러닝에서 명시적 정규화 없이도 SGD가 잘 일반화되는 이유에 대한 이론적 통찰을 제공한다.

ABSTRACT

Stochastic descent methods (of the gradient and mirror varieties) have become increasingly popular in optimization. In fact, it is now widely recognized that the success of deep learning is not only due to the special deep architecture of the models, but also due to the behavior of the stochastic descent methods used, which play a key role in reaching "good" solutions that generalize well to unseen data. In an attempt to shed some light on why this is the case, we revisit some minimax properties of stochastic gradient descent (SGD) for the square loss of linear models---originally developed in the 1990's---and extend them to general stochastic mirror descent (SMD) algorithms for general loss functions and nonlinear models. In particular, we show that there is a fundamental identity which holds for SMD (and SGD) under very general conditions, and which implies the minimax optimality of SMD (and SGD) for sufficiently small step size, and for a general class of loss functions and general nonlinear models. We further show that this identity can be used to naturally establish other properties of SMD (and SGD), namely convergence and implicit regularization for over-parameterized linear models (in what is now being called the "interpolating regime"), some of which have been shown in certain cases in prior literature. We also argue how this identity can be used in the so-called "highly over-parameterized" nonlinear setting (where the number of parameters far exceeds the number of data points) to provide insights into why SMD (and SGD) may have similar convergence and implicit regularization properties for deep learning.

연구 동기 및 목표

• 스토케스틱 그래디언트 강하(SGD)와 스토케스틱 거울 강하(SMD)가 명시적 정규화 없이 딥 러닝에서 잘 일반화되는 이유를 설명하기 위해.
• 1990년대의 고전적인 SGD 최소최대 결과를 선형 모델에 국한하여 확장하여 일반적인 비선형 모델과 손실 함수로 일반화하기 위해.
• SMD의 기본 항등식을 활용하여 과다 매개변수화된 설정에서 수렴성과 암묵적 정규화의 이론적 기반을 구축하기 위해.
• 딥 뉴럴 네트워크와 같은 과다 매개변수화된 비선형 모델에서 SMD/SGD의 행동에 대한 통찰을 제공하기 위해.

제안 방법

• SMD에 대한 기본 항등식을 유도하여 알고리즘의 반복값이 최소최대 필터링 문제와 연결되도록 하며, 이는 $H^\infty$ 필터링 이론을 일반화한다.
• 이 항등식을 사용하여 스텝 사이즈가 충분히 작을 경우 SMD의 최소최대 최적성을 증명한다.
• 이 항등식을 적용하여 과다 매개변수화된 선형 모델에서 수렴성과 암묵적 정규화를 보여준다. 여기서 해의 다양체 $\mathcal{W}$ 는 차원 $m-n$ 을 가진다.
• 모델의 차원 $m \gg n$ 일 경우, 임의의 무작위 초기 가중치 $w_0$ 는 일반적으로 해의 다양체 $\mathcal{W}$ 에서 $O(\sqrt{n/m})$ 거리 이내에 위치하게 되며, 이는 정규화된 해로의 수렴을 가능하게 한다.
• 스텝 사이즈를 시간에 따라 변화시키는 경우를 다루기 위해 항등식과 최소최대 공식을 적절히 수정한다.
• Bregman 산란의 국소 비음성 및 약한 의존성 조건을 활용하여, 해의 다양체 주변에서의 비선형 모델로 수렴성과 정규화의 일반화를 달성한다.

실험 결과

연구 질문

• RQ1 왜 과다 매개변수화된 모델에서 명시적 정규화 없이도 스토케스틱 거울 강하(SMD)가 잘 일반화되는 솔루션으로 수렴하는가?
• RQ2 SMD의 최소최대 최적성은 선형 모델과 제곱 손실을 초월하여 비선형 모델과 일반적인 손실 함수로 일반화될 수 있는가?
• RQ3 과다 매개변수화된 선형 설정에서 SMD의 암묵적 정규화는 어떻게 발생하며, 이는 알고리즘의 수렴성과 어떤 관련이 있는가?
• RQ4 왜 딥 러닝에서 SGD와 다른 최적화 알고리즘 간의 일반화 성능 차이가 발생하는가?
• RQ5 선형 모델에서 SMD의 이론적 성질은 딥 뉴럴 네트워크와 같은 과다 매개변수화된 비선형 모델로 얼마나 일반화될 수 있는가?

주요 결과

• 적절히 작은 스텝 사이즈 하에서 일반 조건(비선형 모델 및 일반 손실 함수 포함) 하에서 SMD는 최소최대 최적이다.
• 초기 가중치 $w_0$ 가 $w_*$ 에서 $\epsilon$ 이내일 경우, 알고리즘은 $w_\infty$ 로 수렴하며, 이는 $w_*$ 에서 $o(\epsilon)$ 거리 이내에 위치한다.
• 과다 매개변수화된 선형 모델의 경우($m \gg n$), 임의의 무작위 초기 가중치 $w_0$ 는 거의 확실하게 해의 다양체 $\mathcal{W}$ 에서 $O(\sqrt{n/m})$ 거리 이내에 위치하며, 이는 정규화된 해로의 수렴을 가능하게 한다.
• 선형 모델에서의 암묵적 정규화는 Bregman 산란의 구조와 알고리즘의 최소최대 공식에 기반하여 자연스럽게 발생하며, 명시적 제약 조건이 필요로 하지 않는다.
• 시간에 따라 변화하는 스텝 사이즈로의 확장에서도 최소최대 최적성과 수렴성이 보존되며, 잠재 함수에서 손실을 뺀 함수의 볼록성 조건이 충족될 경우에 해당한다.
• 이 프레임워크는 과다 매개변수화된 비선형 모델에서의 암묵적 정규화에 대한 힌트를 제공한다: 무작위 초기화는 $w_0$ 를 해의 다양체 근처에 놓으며, SMD는 암묵적 정규화자 $w_*$ 근처의 해로 수렴한다.