[논문 리뷰] Global linear convergence of Newton's method without strong-convexity or Lipschitz gradients

Sai Praneeth Karimireddy, Sebastian U. Stich외 1명|arXiv (Cornell University)|2018. 06. 01.

Sparse and Compressive Sensing Techniques참고 문헌 21인용 수 24

한 줄 요약

이 논문은 강한 볼록성이나 리프시츠 연속 기울기 조건을 요구하지 않고 볼록 최적화 문제에 대한 뉴턴 방법의 전역 선형 수렴성을 확립한다. 대신, 많은 비강한 볼록 문제(예: 로지스틱 회귀)에서 성립하는 새로운 곱셈적 헤시안 안정성 조건을 도입하고, 비정확한 헤시안 근사와 비정확한 하위문제 해를 동반하는 상황에서도 애핀 불변 선형 수렴을 증명한다.

ABSTRACT

We show that Newton's method converges globally at a linear rate for objective functions whose Hessians are stable. This class of problems includes many functions which are not strongly convex, such as logistic regression. Our linear convergence result is (i) affine-invariant, and holds even if an (ii) approximate Hessian is used, and if the subproblems are (iii) only solved approximately. Thus we theoretically demonstrate the superiority of Newton's method over first-order methods, which would only achieve a sublinear $O(1/t^2)$ rate under similar conditions.

연구 동기 및 목표

• 강한 볼록성 또는 리프시츠 연속 기울기 조건보다 더 약한 가정 하에서 뉴턴 방법의 전역 수렴성을 확립하기 위해.
• 선형 수렴을 보장하는 자연스럽고 애핀 불변 조건인 헤시안 안정성 조건을 규명하기 위해.
• 유사한 조건 하에서 일阶 방법보다 뉴턴 방법이 훨씬 빠른 수렴 속도를 달성함을 보여주기 위해.
• 비정확한 헤시안 근사와 비정확한 하위문제 해를 동반하는 경우에도 수렴 보장을 확장하기 위해.
• 신뢰영역 뉴턴 방법이 국소적 헤시안 안정성 조건 하에서도 선형 수렴을 달성함을 보여주기 위해.

제안 방법

• 곱셈적 헤시안 안정성 조건을 도입: 임의의 점 x와 y에 대해, 기울기 차이의 노름과 x에서의 헤시안 노름의 비율이 상수 c로 유계임.
• 전역 안정성 파라미터 c를 정의하여, 수준 집합 내 모든 x, y에 대해 ||∇f(x) - ∇f(y)||²_{∇²f(x)} ≤ c ||x - y||²_{∇²f(x)} 가 성립함을 보장.
• 이 안정성 조건을 사용해 뉴턴 반복의 수축 부등식을 유도하고, 최적성 갭이 매 반복마다 일정 요소만큼 감소함을 보여줌.
• 헤시안을 근사하고 하위문제를 근사적으로 해결하는 비정확한 뉴턴 단계에 대해 이 안정성 조건을 적용해 수렴성을 증명함.
• 뉴턴 방법의 신뢰영역 변형을 도입하고 국소 안정성 조건 하에서 선형 수렴성을 증명함.
• 매개변수화된 하위문제를 사용한 이차 모델 근사로 함수 감소를 유계화하고 수렴 속도를 유도함.

실험 결과

연구 질문

• RQ1 뉴턴 방법이 강한 볼록성이나 리프시츠 연속 기울기 조건 없이도 전역 선형 수렴을 달성할 수 있는가?
• RQ2 헤시안에 대한 어떤 자연스러운 조건이 뉴턴 방법의 전역 선형 수렴을 보장하는가?
• RQ3 제안된 헤시안 안정성 조건은 리프시츠 헤시안 또는 강한 볼록성과 같은 표준 가정과 비교해 어떻게 다른가?
• RQ4 헤시안의 비정확성 또는 하위문제 해의 비정확성이 있을 경우에도 선형 수렴이 유지되는가?
• RQ5 신뢰영역 뉴턴 방법은 국소적 안정성 조건 하에서도 선형 수렴을 달성할 수 있는가?

주요 결과

• 강한 볼록성이나 리프시츠 기울기 조건 없이도, c-안정 헤시안 조건 하에서 뉴턴 방법은 전역적으로 선형 수렴 속도를 보인다.
• 수렴 속도는 애핀 불변이며, 안정성 파라미터 c와 하위문제 해의 정확도에만 의존한다.
• 매 반복마다 (1 - Θ/(ησc(γ))) 형태의 선형 수렴 속도를 달성하며, 이는 일阶 방법의 O(1/t²) 속도보다 지수적으로 빠르다.
• 비정확성의 크기가 상수 요소 이내로 제한될 경우, 비정확한 헤시안과 비정확한 하위문제 해를 사용하더라도 선형 수렴이 유지된다.
• 신뢰영역 뉴턴 방법 또한 국소 안정성 조건 하에서 선형 수렴을 달성하며, 실용적 구현으로의 확장을 가능하게 한다.
• 헤시안 안정성 조건은 로지스틱 회귀 및 기타 비강한 볼록 문제에서 성립하므로, 이 결과는 기계학습 목표 함수의 넓은 범주에 적용 가능하다.