[논문 리뷰] Characterizing the implicit bias via a primal-dual analysis

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|2019. 06. 11.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 15

한 줄 요약

이 논문은 선형적으로 분리 가능한 데이터에서의 경사하강법에 대한 원시-이중 분석을 제공하며, 그 은닉 편향이 부드럽게 조정된 마진을 갖는 이중 최적화 문제의 해로 정확히 기술됨을 보여준다. 지수 손실의 경우, 일정한 단계 크기와 공격적인 단계 크기에서 각각 $O(\text{ln}(n)/\text{ln}(t))$ 및 $O(\text{ln}(n)/t)$ 수렴 속도를 엄밀하게 확립하며, 이는 이전의 $\widetilde{O}(1/\sqrt{t})$ 및 비최적의 $O(1/t)$ 속도보다 향상된 결과이다.

ABSTRACT

This paper shows that the implicit bias of gradient descent on linearly separable data is exactly characterized by the optimal solution of a dual optimization problem given by a smoothed margin, even for general losses. This is in contrast to prior results, which are often tailored to exponentially-tailed losses. For the exponential loss specifically, with $n$ training examples and $t$ gradient descent steps, our dual analysis further allows us to prove an $O(\ln(n)/\ln(t))$ convergence rate to the $\ell_2$ maximum margin direction, when a constant step size is used. This rate is tight in both $n$ and $t$, which has not been presented by prior work. On the other hand, with a properly chosen but aggressive step size schedule, we prove $O(1/t)$ rates for both $\ell_2$ margin maximization and implicit bias, whereas prior work (including all first-order methods for the general hard-margin linear SVM problem) proved $\widetilde{O}(1/\sqrt{t})$ margin rates, or $O(1/t)$ margin rates to a suboptimal margin, with an implied (slower) bias rate. Our key observations include that gradient descent on the primal variable naturally induces a mirror descent update on the dual variable, and that the dual objective in this setting is smooth enough to give a faster rate.

연구 동기 및 목표

• 일반적인 손실 함수, 특히 지수 꼬리가 아닌 손실들까지 포함하여 선형적으로 분리 가능한 데이터에서 경사하강법의 은닉 편향을 기술하는 것.
• 다양한 단계 크기 스케줄링 하에서 $\ell_2$ 최대 마진 방향으로의 방향 수렴에 대해 엄밀한 수렴 속도를 확립하는 것.
• 원시 문제에서의 경사하강법이 이중 문제에서의 미러 하강법을 유도함을 보여주며, 이중 목표 함수의 부드러움을 활용해 더 빠른 수렴을 가능하게 하는 것.
• 하드 마진 선형 SVM 문제에서 1차 방법의 마진 최대화 속도의 최적성에 대한 열린 질문을 해결하는 것.

제안 방법

• 부드러운 마진 함수로 정의된 이중 최적화 문제를 통해 은닉 편향을 공식화하는 것.
• 이중 변수에 대한 미러 하강 업데이트로 경사하강법이 유도됨을 분석하며, 이중 목표 함수의 부드러움을 활용하는 것.
• 이중 반복값과 최적의 이중 해 사이의 브레그만 발산을 경계하여 수렴 속도를 유도하는 것.
• 진전을 추적하고 $O(1/t)$ 및 $O(\text{ln}(n)/\text{ln}(t))$ 속도를 확립하기 위해 원시-이중 리아푸노프 함수를 사용하는 것.
• 일정한 단계 크기와 공격적인 단계 크기 스케줄링을 적용하여 엄밀한 속도를 달성하는 것.
• 이전 연구 및 알려진 하한선과의 비교를 통해 속도의 엄밀성을 증명하는 것.

실험 결과

연구 질문

• RQ1 일반적인 손실 함수에 대해 지수 꼬리가 아닌 경우를 포함해, 선형적으로 분리 가능한 데이터에서 경사하강법의 은닉 편향을 정확히 기술할 수 있는가?
• RQ2 이전의 $\widetilde{O}(1/\sqrt{t})$ 경계보다 더 엄밀한 수렴 속도를 $\ell_2$ 최대 마진 방향으로의 방향 수렴에 대해 증명할 수 있는가?
• RQ3 공격적인 단계 크기 스케줄링이 최대 마진과 은닉 편향 양쪽으로 $O(1/t)$ 수렴을 가능하게 하는가? 그리고 이 속도가 엄밀한가?
• RQ4 원시-이중 시각에서 표준 원시 분석보다 더 빠른 수렴이 어떻게 드러나는가?
• RQ5 이중의 부드러움을 활용하여 이전에 알려진 $O(1/\sqrt{t})$ 속도보다 더 빠른 수렴을 달성할 수 있는가?

주요 결과

• 일반적인 손실 함수가 0으로 점 渐진할 경우, 정규화된 경사하강법 반복값은 부드러운 마진을 갖는 이중 문제의 해로 수렴하며, 이는 $O(1/\sqrt{t})$ 속도로 이루어진다.
• 일정한 단계 크기 하에서, $\ell_2$ 최대 마진 방향으로의 방향 수렴은 엄밀한 $O(\text{ln}(n)/\text{ln}(t))$ 속도를 달성하며, 이는 이전의 $O(1/\text{ln}(t))$ 속도보다 향상되었고, 명시적인 $n$-의존성이 없음.
• 지수 손실의 경우, 공격적인 단계 크기 스케줄링으로 $\ell_2$ 마진과 은닉 편향 양쪽으로 $O(\text{ln}(n)/t)$ 수렴 속도를 달성하며, 이는 엄밀하고 이전의 $\widetilde{O}(1/\sqrt{t})$ 및 비최적의 $O(1/t)$ 속도보다 향상됨.
• 원시-이중 분석은 원시 문제에서의 경사하강법이 이중 문제에서의 미러 하강법을 유도하며, 이중 목표 함수의 부드러움이 더 빠른 $O(1/t)$ 수렴 속도를 가능하게 함을 드러냄.
• 분석을 통해 $O(\text{ln}(n)/t)$ 속도가 $n$과 $t$ 양쪽 모두에서 엄밀함을 증명하며, 하드 마진 선형 SVM에 대한 1차 방법의 최적성에 대한 열린 질문을 해결함.
• 결과는 다항식 꼬리 및 지수 꼬리 손실을 포함한 광범위한 손실 함수 클래스에 대해 유효하며, 이전 연구에서 제한된 지수 꼬리에만 국한된 바를 초월함.