[논문 리뷰] A refined primal-dual analysis of the implicit bias.

Ziwei Ji, Matus Telgarsky|arXiv (Cornell University)|2019. 06. 11.

Domain Adaptation and Few-Shot Learning인용 수 17

한 줄 요약

이 논문은 선형적으로 분리 가능한 데이터에서 정규화된 경사하강법이 최대 마진 해법에 수렴하는 데 있어 O(ln(n)/ln(t))의 날것있는 수렴 속도를 확립한다. 이를 위해 이중 수렴 결과를 증명함으로써, 경사하강법이 정규화된 SVM 이중 목표 함수에 대해 곱셈 가중치 갱신을 유도함을 보이며, 데이터셋 크기 n과 학습 시간 t에 대한 암묵적 편향 수렴 속도를 해결한다.

ABSTRACT

Recent work shows that gradient descent on linearly separable data is implicitly biased towards the maximum margin solution. However, no convergence rate which is tight in both n (the dataset size) and t (the training time) is given. This work proves that the normalized gradient descent iterates converge to the maximum margin solution at a rate of O(ln(n)/ ln(t)), which is tight in both n and t. The proof is via a dual convergence result: gradient descent induces a multiplicative weights update on the (normalized) SVM dual objective, whose convergence rate leads to the tight implicit bias rate.

연구 동기 및 목표

• 선형적으로 분리 가능한 데이터에서 정규화된 경사하강법의 수렴 속도에 대한 이해 격차를 메우며, 특히 데이터셋 크기 n과 학습 시간 t에 대해 분석한다.
• 이전 연구들이 달성하지 못했던 바와 같이, n과 t 양쪽 모두에 대해 최적의 암묵적 편향 수렴 속도를 확립한다.
• 정규화된 경사하강법의 반복값이 이중적 시각을 통해 최대 마진 해법으로 O(ln(n)/ln(t))의 속도로 수렴함을 증명한다.
• 정규화된 경사하강법의 이중 문제는 정규화된 SVM 이중 목표 함수에 대한 곱셈 가중치 갱신과 정확히 일치함을 보인다. 이를 통해 날것있는 수렴 속도 분석이 가능해진다.

제안 방법

• 선형적으로 분리 가능한 데이터에서 정규화된 경사하강법을 분석하기 위해 원시-이중 프레임워크를 사용하여 원시 반복값과 이중 갱신을 연결한다.
• 정규화된 경사하강법 과정의 이중이 정규화된 SVM 이중 목표 함수에 대한 곱셈 가중치 갱신과 정확히 일치함을 도출한다.
• 이중 수렴 속도를 확립함으로써 원시 수렴 속도가 최대 마진 해법으로 수렴함을 직접적으로 유도한다.
• n과 t 양쪽에 대해 로그 스케일링을 적용하여 O(ln(n)/ln(t))의 날것있는 수렴 속도를 유도하며, 양쪽 매개변수에 대해 최적임을 보인다.
• 온라인 볼록 최적화 및 곱셈 가중치 기법을 적용하여 이중성 갭과 수렴 속도를 근사한다.
• n과 t 양쪽에 대해 하한선이 일치함을 보여 이중 수렴을 통해 수렴 속도가 날것있다고 증명한다.

실험 결과

연구 질문

• RQ1 선형적으로 분리 가능한 데이터에서 정규화된 경사하강법이 최대 마진 해법으로 수렴하는 데 있어 n과 t 양쪽 모두에 대해 가능한 가장 날것있는 수렴 속도는 무엇인가?
• RQ2 암묵적 편향이 n과 t에 대해 날것있는 수렴 속도를 확보하기 위해 이중 공식화를 통해 분석할 수 있는가?
• RQ3 정규화된 경사하강법의 이중 문제는 곱셈 가중치 갱신과 같은 알려진 최적화 갱신 방식과 일치하는가?
• RQ4 수렴 속도 O(ln(n)/ln(t))는 n과 t 모두에서 날것있으며, 이중 수렴을 통해 증명될 수 있는가?

주요 결과

• 정규화된 경사하강법의 반복값은 최대 마진 해법으로 O(ln(n)/ln(t))의 속도로 수렴하며, 이는 데이터셋 크기 n과 학습 시간 t 양쪽 모두에서 날것있다.
• 정규화된 경사하강법 과정의 이중은 정규화된 SVM 이중 목표 함수에 대한 곱셈 가중치 갱신과 정확히 일치한다.
• 이중 공간에서의 수렴 속도는 원시 수렴 속도를 직접적으로 유도하며, 날것있는 분석이 가능해진다.
• 수렴 속도 O(ln(n)/ln(t))는 최적이다. n과 t 모두에 대해 일치하는 하한선이 존재하기 때문이다.
• 이 연구는 이전 문헌에서 해결되지 않았던, n과 t 양쪽 모두에서 암묵적 편향 수렴 속도의 날것있음에 대한 열린 질문을 해결한다.
• 이중성에 기반하여 정규화된 경사하강법과 곱셈 가중치 간의 공식적 연결을 수립함으로써, 암묵적 편향에 대한 새로운 이론적 통찰을 제공한다.