[논문 리뷰] Generalized Uniformly Optimal Methods for Nonlinear Programming

Saeed Ghadimi, Guanghui Lan외 1명|arXiv (Cornell University)|2015. 08. 29.

Sparse and Compressive Sensing Techniques참고 문헌 25인용 수 13

한 줄 요약

이 논문은 경사하강법 또는 준뉴턴 단계를 통합하면서 목적 함수 값이 단조 감소하도록 보장함으로써, 가속 경사하강법 및 번들 수준 방법과 같은 균일 최적의 볼록 최적화 방법을 비볼록 비선형 프로그래밍으로 확장하는 통합 프레임워크를 제안한다. 결과적으로 얻어진 알고리즘들은 비볼록 문제에 대해 알려진 최고의 수렴 속도를 달성하고 볼록 문제에 대해서는 최적의 속도를 유지하며, 문제에 특화된 파라미터가 필요로 하지 않는다.

ABSTRACT

In this paper, we present a generic framework to extend existing uniformly optimal convex programming algorithms to solve more general nonlinear, possibly nonconvex, optimization problems. The basic idea is to incorporate a local search step (gradient descent or Quasi-Newton iteration) into these uniformly optimal convex programming methods, and then enforce a monotone decreasing property of the function values computed along the trajectory. Algorithms of these types will then achieve the best known complexity for nonconvex problems, and the optimal complexity for convex ones without requiring any problem parameters. As a consequence, we can have a unified treatment for a general class of nonlinear programming problems regardless of their convexity and smoothness level. In particular, we show that the accelerated gradient and level methods, both originally designed for solving convex optimization problems only, can be used for solving both convex and nonconvex problems uniformly. In a similar vein, we show that some well-studied techniques for nonlinear programming, e.g., Quasi-Newton iteration, can be embedded into optimal convex optimization algorithms to possibly further enhance their numerical performance. Our theoretical and algorithmic developments are complemented by some promising numerical results obtained for solving a few important nonconvex and nonlinear data analysis problems in the literature.

연구 동기 및 목표

• 다양한 볼록성과 미분 가능성 수준을 갖는 일반적인 비선형 프로그래밍 문제를 해결하기 위한 통합적이고 파라미터 없는 방법의 부족을 해결한다.
• 원래 볼록성 조건을 필요로 하던 균일 최적 볼록 최적화 알고리즘을 비볼록 환경에서도 적용 가능하도록 확장한다.
• 볼록 문제에 대해서는 최적 수렴 속도를 유지하고 비볼록 문제에 대해서는 알려진 최고의 속도를 달성하는 프레임워크를 개발한다.
• 지역 탐색 단계(경사하강법 또는 준뉴턴)를 최적 볼록 방법에 통합하여 실용적 성능를 향상시킨다.
• 볼록 집합 위에서 허더링 연속 기울기 함수와 단순한 볼록 정규화항을 포함하는 복합 문제에 대한 통합 처리를 제공한다.

제안 방법

• 가속 경사하강법 또는 번들 수준 방법과 같은 균일 최적 볼록 프로그래밍 알고리즘에 경사하강법 또는 준뉴턴 단계를 통합한다.
• 비볼록 환경에서 수렴을 보장하기 위해 각 반복에서 목적 함수 값에 대해 단조 감소 성질을 강제한다.
• 부드러움 파라미터 $ H $ 또는 허더링 지수 $ \nu $와 같은 문제 파라미터에 의존하지 않는 새로운 스텝 사이즈 정책을 사용한다.
• 가속 경사하강법(AG)과 가속 수준 방법(AL)에 모두 프레임워크를 적용하여 비볼록 문제에 대한 적용 가능성을 확장한다.
• 표준 기울기 단계를 준뉴턴 갱신으로 대체하여 국소 수렴과 수치적 성능를 향상시킨다.
• 비볼록 문제에 적합한 투영 경사하강 종료 기준 $ \|g_{X,k}\| \leq \epsilon $ 을 통해 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 균일 최적 볼록 최적화 방법을 문제 파라미터가 필요 없이 비볼록 문제로 확장할 수 있는가?
• RQ2 허더링 연속 기울기를 갖는 비볼록 비선형 프로그래밍의 최고로 달성 가능한 수렴 속도는 무엇인가?
• RQ3 지역 탐색 단계(예: 경사하강법 또는 준뉴턴)를 최적 볼록 방법에 통합하여 전역 수렴을 유지하면서 성능를 향상시킬 수 있는가?
• RQ4 한 개의 알고리즘 프레임워크가 볼록 및 비볼록 문제를 동일한 수렴 보장 하에 처리할 수 있는가?
• RQ5 준뉴턴 단계는 데이터 분석 응용 분야에서 균일 최적 방법의 실용적 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 $ \nu = 0 $ 인 비볼록 문제에 대해 $ \mathcal{O}(1/\epsilon^{2}) $ 의 알려진 최고 수준의 수렴 속도를 달성하며, 이는 알려진 하한값과 일치한다.
• 부드러운 비볼록 문제($ \nu = 1 $)의 경우, $ \mathcal{O}(1/\sqrt{\epsilon}) $ 의 복잡도를 달성하며 이는 최적이다.
• 볼록 케이스에서는 $ \nu $, $ H $, 반복 횟수 제한 $ N $ 등의 입력을 요구하지 않으며 최적의 복잡도 범위를 회복하여 균일 최적성을 확보한다.
• 시그모이드 SVM 문제에 대한 수치 결과는 UPFAG 및 UFAPL 방법이 표준 PG 및 UAG보다 더 빠르게 수렴함을 보여주며, $ m=1000, n=2000 $ 인 경우 UPFAG는 583회 반복 내에 $ \|g_X\| < 10^{-5} $ 를 달성한다.
• 준뉴턴 단계의 통합(예: UPFAG-full 및 UFAPL)은 수렴 속도를 향상시키며, $ m=2000, n=4000 $ 인 경우 UFAPL은 단 100회 반복 내에 $ \|g_X\| < 10^{-5} $ 를 달성한다.
• 모든 테스트 인스턴스에서 알고리즘은 낮은 목적 함수 값과 분류 오차를 유지하며, 높은 정밀도 수준에서 오차가 최적값 근처에 안정화됨(예: $ m=1000, n=2000 $ 인 경우 약 31%)를 보였다.