[논문 리뷰] A Newton Frank-Wolfe Method for Constrained Self-Concordant Minimization

Deyi Liu, Volkan Cevher외 1명|arXiv (Cornell University)|2020. 02. 17.

Stochastic Gradient Optimization Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 제약 조건이 있는 자가동조 함수 최소화 문제에 대해 $Ó(\varepsilon^{-\nu})$ 선형 최소화 오рак루(LMO) 호출을 달성하는 뉴턴 프랭크-울프 방법을 제안한다. 여기서 $\nu = 1 + o(1)$이며, 이는 $L$-리프만 스무쓰니스 조건 하에서 표준 프랭크-울프 방법의 수렴 속도를 따라간다. 이 방법은 자가동조성성과 LMO 기반 업데이트를 활용하여 D-최적 설계 및 엘라스틱 넷이 적용된 로지스틱 회귀와 같은 문제에 대해 확장 가능하고 전역 수렴 성질을 가진 최적화를 가능하게 한다.

ABSTRACT

We demonstrate how to scalably solve a class of constrained self-concordant minimization problems using linear minimization oracles (LMO) over the constraint set. We prove that the number of LMO calls of our method is nearly the same as that of the Frank-Wolfe method in the L-smooth case. Specifically, our Newton Frank-Wolfe method uses $\mathcal{O}(ε^{-ν})$ LMO's, where $ε$ is the desired accuracy and $ν:= 1 + o(1)$. In addition, we demonstrate how our algorithm can exploit the improved variants of the LMO-based schemes, including away-steps, to attain linear convergence rates. We also provide numerical evidence with portfolio design with the competitive ratio, D-optimal experimental design, and logistic regression with the elastic net where Newton Frank-Wolfe outperforms the state-of-the-art.

연구 동기 및 목표

• 자기동조 함수 목표 함수에 대해 LMO 기반 방법의 수렴 보장을 제공하지 못하는 문제를 해결하고자 한다. 이러한 목적 함수는 기계 학습 및 통계 분야에서 흔히 나타난다.
• 로그 함수, 로그 디터미낸트 또는 리지 정규화가 적용된 지수 함수 목표 함수를 포함한 문제들에 대해, 투영 대신 선형 최소화 오라클(LMO)을 사용하는 확장 가능한 일阶 방법을 개발하고자 한다.
• L-스무쓰니스 조건을 만족하지 않는 자기동조 함수에 대해 수렴 속도를 확립하고자 하며, 이는 프랭크-울프 유사 방법의 적용 범위를 L-스무쓰니스 영역을 초월하여 확장하고자 한다.
• 향상된 LMO 변형, 예를 들어 어웨이 스텝(Away-steps)를 통합하여 이 클래스 문제에 대해 선형 수렴 속도를 달성할 수 있는 방법을 제시하고자 한다.

제안 방법

• 자기동조 함수 바리에이션 프레임워크를 활용하여 국소 2차 수렴 성질을 보장하는 뉴턴 단계와 프랭크-울프 스타일의 선형 탐색을 조합한다.
• 각 반복에서 감쇠 뉴턴 단계를 사용하며, 검색 방향을 효율적으로 계산하기 위해 LMO를 통해 하위 문제를 해결한다.
• 자기동조 함수 바리에이션을 사용한 백트랙킹 선형 탐색을 통해 목적 함수의 충분한 감소를 보장한다.
• 자기동조 함수 잠재함수와 관련된 브레그만 발산을 기반으로 한 새로운 리아파노프 함수를 도입하여 수렴성을 분석한다.
• 수렴 속도를 가속화하기 위해 어웨이 스텝을 통합하여, 약한 조건 하에서도 선형 수렴 속도를 달성할 수 있도록 한다.
• 이론적 분석은 헤시안의 경계와 이중 노름을 사용한 곡률 제어를 포함한 자기동조 성질에 기반한다.

실험 결과

연구 질문

• RQ1 L-스무쓰니스 조건을 만족하지 않는 자기동조 함수 목표 함수에 대해 LMO 기반 방법이 근사 최적의 반복 복잡도를 달성할 수 있는가?
• RQ2 뉴턴 단계를 프랭크-울프와 통합함으로써 LMO의 확장성은 유지하면서 수렴 속도를 향상시킬 수 있는가?
• RQ3 프랭크-울프 방법의 어웨이 스텝 변형이 자기동조 함수 문제에 대해 특이 헤시안을 가진 경우에도 선형 수렴 속도를 달성할 수 있는가?
• RQ4 자기동조 함수 최소화 문제에 대해 뉴턴 프랭크-울프 방법의 이론적 LMO 복잡도는 무엇인가?
• RQ5 제안된 방법이 포트폴리오 설계 및 D-최적 설계와 같은 실용적 응용 분야에서 최신 기술보다 우월한 성능을 보일 수 있는가?

주요 결과

• 제안된 뉴턴 프랭크-울프 방법은 $\mathcal{O}(\varepsilon^{-\nu})$의 LMO 복잡도를 달성하며, $\nu = 1 + o(1)$이다. 이는 $L$-스무쓰니스 조건 하에서 표준 프랭크-울프 방법의 수렴 속도와 일치한다.
• 어웨이 스텝을 통합함으로써 최적 해가 제약 조건 집합의 경계에 위치해 있더라도 전역 선형 수렴을 달성할 수 있다.
• 수치 실험 결과, 포트폴리오 설계에서 경쟁력 있는 비율, D-최적 실험 설계, 엘라스틱 넷이 적용된 로지스틱 회귀에서 최신 기술보다 뛰어난 성능을 보였다.
• 이론적 분석을 통해 각 반복에서 하위 문제의 해가 $\eta_k$-정확도를 가지며, $\eta_k = \beta \sigma^k / C$임을 증명하여 전역 수렴을 보장한다.
• 수렴 속도는 $f(x^{k+1}) - f^\star \leq \left(\frac{12\beta^3}{1-2\beta} + \frac{\beta^2}{C^2} + \beta^2\right) \sigma^{2k}$를 만족하며, 이는 $\varepsilon$-정확도를 확보하기 위해 $\mathcal{O}(\varepsilon^{-\nu})$의 LMO 호출을 필요로 함을 의미한다.
• 이 방법은 D-최적 설계, 최소 부피를 갖는 봉우리 타원체, 양자 토모그래피, 엘라스틱 넷이 적용된 로지스틱 회귀를 포함한 광범위한 문제 클래스에 적용 가능하다.