[논문 리뷰] Inexact Regularized Proximal Newton Method: Provable Convergence Guarantees for Non-Smooth Convex Minimization without Strong Convexity

Man–Chung Yue, Zirui Zhou외 1명|arXiv (Cornell University)|2016. 05. 24.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 4

한 줄 요약

이 논문은 비미분 가능 볼록 최적화를 위한 비정확한 정규화된 프락시멀 뉴턴(IRPN) 방법을 제안한다. 이 방법은 2차 최적화 기법과 비정확한 하위문제 해법을 결합한다. 강한 볼록성 조건이 없더라도 초선형 수렴 속도를 보장하는 새로운 오차 한계 조건을 사용하여 전역 수렴을 증명하며, ℓ₁-정규화 로지스틱 회귀 문제에서 기존 방법들을 능가한다.

ABSTRACT

We propose a second-order method, the inexact regularized proximal Newton (IRPN) method, to minimize a sum of smooth and non-smooth convex functions. We prove that the IRPN method converges globally to the set of optimal solutions and the asymptotic rate of convergence is superlinear, even when the objective function is not strongly convex. Key to our analysis is a novel usage of a certain error bound condition. We compare two empirically efficient algorithms---the newGLMNET and adaptively restarted FISTA---with our proposed IRPN by applying them to the $\ell_1$-regularized logistic regression problem. Experiment results show the superiority of our proposed algorithm.

연구 동기 및 목표

• 강한 볼록성이 필요 없이 비미분 가능 볼록 함수를 효율적으로 다룰 수 있는 2차 최적화 방법을 개발하는 것.
• 유사한 조건 하에서 제안된 방법의 전역 수렴성과 초선형 수렴 속도를 확립하는 것.
• 프락시멀 뉴턴 방법의 맥락에서 비정확한 하위문제 해법에 대한 증명 가능 수렴 보장을 제공하는 것.
• ℓ₁-정규화 로지스틱 회귀 문제에서 최신 알고리즘들과의 실증적 비교를 통해 IRPN 방법의 성능을 평가하는 것.

제안 방법

• IRPN 방법은 부드럽고 비미분 가능 볼록 함수의 합을 최소화하기 위해, 비정확한 하위문제 해법을 사용하는 정규화된 뉴턴 단계를 적용한다.
• 하위문제 해법의 비정확성을 제어하고 수렴을 보장하기 위해 새로운 오차 한계 조건을 도입한다.
• 비미분 가능 성분을 다루기 위해 프락시멀 항을 사용하여 ℓ₁-정규화와 같은 문제에 적용 가능하게 한다.
• 선형 탐색 전략을 사용하여 비정확한 해법이 존재하는 상황에서도 목적 함수의 충분한 감소를 보장한다.
• 하위문제 해법의 정확성과 곡률 정보의 균형을 유지함으로써 초선형 수렴을 유도하도록 알고리즘을 설계한다.

실험 결과

연구 질문

• RQ1 강한 볼록성이 없더라도 2차 최적화 방법이 비미분 가능 볼록 문제에서 초선형 수렴을 달성할 수 있는가?
• RQ2 비정확한 하위문제 해법은 어떻게 제어되어야 전역 수렴성과 빠른 수렴 속도를 유지할 수 있는가?
• RQ3 강한 볼록성이 없을 경우 수렴 보장을 가능하게 하는 오차 한계 조건은 무엇인가?
• RQ4 실제로 IRPN 방법은 ℓ₁-정규화 로지스틱 회귀 문제에서 적응형 FISTA와 newGLMNET보다 어떻게 비교되는가?

주요 결과

• IRPN 방법은 강한 볼록성 조건 없이도 비미분 가능 볼록 문제에 대해 최적해 집합으로의 전역 수렴을 달성한다.
• 새로운 오차 한계 조건 덕분에 강한 볼록성이 없더라도 초선형 수렴 속도를 보인다.
• 실증 결과에 따르면 IRPN은 ℓ₁-정규화 로지스틱 회귀 문제에서 수렴 속도와 해의 정확도 측면에서 newGLMNET 및 적응형 재시작 FISTA를 모두 능가한다.
• 오차 한계 기반 제어 메커니즘 덕분에 비정확한 하위문제 해법이 수렴 보장에 영향을 주지 않는다.