[논문 리뷰] Projection Efficient Subgradient Method and Optimal Nonsmooth Frank-Wolfe Method

Kiran Koshy Thekumparampil, Prateek Jain외 2명|arXiv (Cornell University)|2020. 10. 05.

Sparse and Compressive Sensing Techniques참고 문헌 89인용 수 7

한 줄 요약

이 논문은 비미분 가능한 볼록 최적화를 위한 새로운 1차 방법인 MOPES와 MOLES를 소개한다. 이 방법들은 최적의 $\mathcal{O}(\varepsilon^{-2})$ 1차 오рак루(FO) 호출을 달성하면서도, 투영 오라클(PO) 및 선형 최소화 오라클(LMO) 호출을 각각 $\mathcal{O}(\varepsilon^{-1})$ 및 $\mathcal{O}(\varepsilon^{-2})$로 줄여, 비미분 프랭크-울프 방법에서 오랫동안 남아있던 열린 문제를 해결한다. 이 방법은 미약한 리프시츠 연장 가정 하에 모레우-요시다 스무딩과 가속화된 방법을 활용하여 FO와 PO/LMO 의존성을 분리한다.

ABSTRACT

We consider the classical setting of optimizing a nonsmooth Lipschitz continuous convex function over a convex constraint set, when having access to a (stochastic) first-order oracle (FO) for the function and a projection oracle (PO) for the constraint set. It is well known that to achieve $ε$-suboptimality in high-dimensions, $Θ(ε^{-2})$ FO calls are necessary. This is achieved by the projected subgradient method (PGD). However, PGD also entails $O(ε^{-2})$ PO calls, which may be computationally costlier than FO calls (e.g. nuclear norm constraints). Improving this PO calls complexity of PGD is largely unexplored, despite the fundamental nature of this problem and extensive literature. We present first such improvement. This only requires a mild assumption that the objective function, when extended to a slightly larger neighborhood of the constraint set, still remains Lipschitz and accessible via FO. In particular, we introduce MOPES method, which carefully combines Moreau-Yosida smoothing and accelerated first-order schemes. This is guaranteed to find a feasible $ε$-suboptimal solution using only $O(ε^{-1})$ PO calls and optimal $O(ε^{-2})$ FO calls. Further, instead of a PO if we only have a linear minimization oracle (LMO, a la Frank-Wolfe) to access the constraint set, an extension of our method, MOLES, finds a feasible $ε$-suboptimal solution using $O(ε^{-2})$ LMO calls and FO calls---both match known lower bounds, resolving a question left open since White (1993). Our experiments confirm that these methods achieve significant speedups over the state-of-the-art, for a problem with costly PO and LMO calls.

연구 동기 및 목표

• 투영 오라클(PO) 호출의 높은 계산 비용이 프로젝션 서브그래디언트 방법(PGD)에서 $\mathcal{O}(\varepsilon^{-2})$로 증가하여, 비용이 높은 투영을 포함하는 문제에서 런타임을 지배한다는 점을 해결하기 위해.
• 표준 1차 오라클 및 투영 오라클 접근 조건 하에서 최적의 FO 복잡도와 비최적의 PO 복잡도 사이의 격차를 해소하기 위해.
• 목적 함수가 제약 집합을 초월해 약간 더 큰 이웃에서 리프시츠 연속성을 유지하는 미약한 가정 하에, 최적의 $\mathcal{O}(\varepsilon^{-2})$ FO 호출을 유지하면서 PO 호출을 $\mathcal{O}(\varepsilon^{-1})$로 줄이는 방법을 개발하기 위해.
• 선형 최소화 오라클(LMO)을 사용하는 프랭크-울프 스타일 방법으로의 확장을 통해, 비미분 설정에서 LMO 및 FO 호출에 대해 알려진 하한과 일치하는 최적의 $\mathcal{O}(\varepsilon^{-2})$ 복잡도를 달성하기 위해.

제안 방법

• 목적 함수의 모레우 엔벨로프를 활용해 스무딩을 수행하고, 이를 통해 투영 오라클 호출의 수를 줄일 수 있는 가속화된 1차 방법을 적용하는 MOPES(Moreau Projection-Efficient Subgradient method)를 제안한다.
• 비미분 문제를 스무딩된 문제로 변환하기 위해 모레우-요시다 정규화를 활용하여, 투영 오라클 호출에 대한 의존도를 줄이는 가속화된 방법을 적용할 수 있도록 한다.
• 모레우 엔벨로프의 스무딩 특성을 활용하여 알고리즘의 FO 및 PO 호출에 대한 의존성을 분리하고, 철저한 반복적 갱신을 통해 탇합성 유지.
• PO 접근을 선형 최소화 오라클(LMO)으로 대체하는 MOLES(Moreau-Optimized LMO-Efficient Subgradient)로 프레임워크를 확장하여, 프랭크-울프 스타일 설정에 적용 가능하게 한다.
• 목적 함수가 제약 집합의 약간 더 큰 이웃에서도 리프시츠 연속성을 유지하는 미약한 가정을 도입하여, 제약 집합 $\mathcal{X}$를 초월한 FO 질의를 허용한다.
• 이중 단계 전략을 활용: 먼저 서브그래디언트를 통해 모레우 엔벨로프를 근사하고, 이후 네스테로프 스타일의 가속화를 적용하여 최소화를 효율적으로 수행하면서 PO 또는 LMO 호출 수를 최소화한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 볼록 최적화를 위한 1차 방법을 설계할 수 있는가? 이 방법은 최적의 $\mathcal{O}(\varepsilon^{-2})$ FO 호출을 달성하면서도, $\mathcal{O}(\varepsilon^{-2})$를 하회하는 PO 호출 수를 크게 줄일 수 있는가?
• RQ2 제약 집합을 초월해 목적 함수의 리프시츠 연속성의 약간의 확장을 가정할 경우, $\varepsilon$-최적 해를 위한 $\mathcal{O}(\varepsilon^{-1})$ PO 호출을 달성할 수 있는가?
• RQ3 2013년 이후 열려 있던 문제로, 비미분 설정에서 LMO 및 FO 호출에 대해 알려진 $\mathcal{O}(\varepsilon^{-2})$ 하한을 충족하는 프랭크-울프 프레임워크를 최적화할 수 있는가?
• RQ4 모레우-요시다 스무딩의 사용이, 표준 프로젝션 서브그래디언트 또는 프랭크-울프 방법보다 더 우수한 FO 및 PO/LMO 호출 간의 균형을 이끌어내는 데 있어 증명 가능한 이점을 제공하는가?

주요 결과

• MOPES는 $\mathcal{O}(\varepsilon^{-1})$의 투영 오라클 호출과 $\mathcal{O}(\varepsilon^{-2})$의 1차 오라클 호출을 달성하여, 제약 집합 외부로의 리프시츠 연장 가정 하에 PGD의 $\mathcal{O}(\varepsilon^{-2})$ PO 호출보다 개선된 성능를 보인다.
• MOLES는 $\mathcal{O}(\varepsilon^{-2})$의 선형 최소화 오라클(LMO) 및 FO 호출을 달성하여 알려진 하한과 일치하며, 비미분 프랭크-울프 방법에서 오랫동안 남아있던 문제를 해결한다.
• 특히 $\ell_1$ 또는 노르름 제약 조건이 있는 고차원 설정에서, 투영 및 LMO 호출 비용이 높은 문제에서, 벽시계 시간 측면에서 최신 기술보다 뛰어난 성능를 보였다.
• 이론적 분석을 통해 MOPES와 MOLES가 최적의 FO 복잡도를 유지하면서도, PO 및 LMO 복잡도를 $\varepsilon^{-1}$의 요소로 줄여, 투영 횟수에 대해 차원에 의존하지 않는 복잡도를 달성함을 확인하였다.
• 실험 결과, 특히 $\ell_1$-노름 SVM 및 핵노름 제약 조건이 있는 행렬 SVM와 같이 투영/LMO 계산이 비용이 많이 드는 문제에서 PGD 및 프랭크-울프 변형보다 뚜렷한 속도 향상을 보였다.