[논문 리뷰] The condition of a function relative to a polytope

David H. Gutman, Javier Peña|arXiv (Cornell University)|2018. 02. 01.

Advanced Optimization Algorithms Research참고 문헌 8인용 수 6

한 줄 요약

이 논문은 기준 다면체에 대해 부드러운 볼록 함수의 상대 조건수를 도입한다. 이 조건수는 상대적 스무스함수 상수와 상대적 강한 볼록성 상수의 비율로 정의되며, 프랭크-울프 알고리즘과 투영된 경사하강법과 같은 일阶 방법의 선형 수렴 속도를 제한한다. 기하학적으로, 이차 함수의 경우 이 조건수는 스케일된 다면체의 지름 대 면거리 비율의 제곱과 같다.

ABSTRACT

The condition number of a smooth convex function, namely the ratio of its smoothness to strong convexity constants, is closely tied to fundamental properties of the function. In particular, the condition number of a quadratic convex function is precisely the square of the diameter-to-width ratio of a canonical ellipsoid associated to the function. Furthermore, the condition number of a function bounds the linear rate of convergence of the gradient descent algorithm for unconstrained minimization. We propose a condition number of a smooth convex function relative to a reference polytope. This relative condition number is defined as the ratio of a relative smooth constant to a relative strong convexity constant of the function, where both constants are relative to the reference polytope. The relative condition number extends the main properties of the traditional condition number. In particular, we show that the condition number of a quadratic convex function relative to a polytope is precisely the square of the diameter-to-facial-distance ratio of a scaled polytope for a canonical scaling induced by the function. Furthermore, we illustrate how the relative condition number of a function bounds the linear rate of convergence of first-order methods for minimization of the function over the polytope.

연구 동기 및 목표

• 비제약 최적화에서의 고전적 조건수 개념을 다각형 위의 제약 최적화로 확장하기 위해.
• 기준 다각형에 대해 함수의 상대적 스무스함수 상수와 강한 볼록성 상수를 정의하기 위해.
• 상대 조건수가 다각형 집합에서 일阶 방법의 선형 수렴 속도를 제한함을 증명하기 위해.
• 이차 함수에 대해 상대 조건수의 기하학적 해석을 스케일된 다각형 기하학의 관점에서 제공하기 위해.
• 최소화자 구조를 반영하는 기능 성장 접근법을 사용해 상대 강한 볼록성 상수를 개선하기 위해.

제안 방법

• 기준 다각형 $ \mathrm{conv}(A) $ 의 기하학을 사용하여 상대 스무스함수 상수 $ L_{f,A} $ 와 상대 강한 볼록성 상수 $ \mu_{f,A} $ 를 정의한다.
• 함수 $ f $ 가 $ \mathrm{conv}(A) $ 위에서 최소화자 집합에 따라 의존하는 개선된 강한 볼록성 상수 $ \mu^\star_{f,A} $ 를 도입하여 $ \mu_{f,A} $ 를 초월한다.
• 이차 함수 $ f(u) = \frac{1}{2}\langle Qu,u\rangle + \langle b,u\rangle $ 에 대해 상대 조건수가 $ \mathrm{conv}(Q^{1/2}A) $ 의 지름 대 면거리 비율의 제곱과 정확히 일치함을 증명한다.
• 상대 조건수를 수렴 속도의 상한으로 사용하여 프랭크-울프 알고리즘의 Away Steps와 투영된 경사하강법의 선형 수렴을 증명한다.
• 상대 스무스함수와 강한 볼록성에 기반한 통합 분석 프레임워크를 사용하여 일阶 방법의 선형 수렴 증명을 단순화하고 통합한다.
• 실제 응용에서 $ L_{f,A} $ 가 알려지지 않은 경우 백트래킹 선색색색을 적용하여 진짜 상한의 상수 배수로 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 함수의 고전적 조건수를 다각형 위의 제약 최적화로 어떻게 일반화할 수 있는가?
• RQ2 이차 함수에 대해 다각형 위의 상대 조건수의 기하학적 의미는 무엇인가?
• RQ3 상대 조건수는 프랭크-울프 알고리즘과 투영된 경사하강법과 같은 일阶 방법의 수렴 속도와 어떻게 관련이 있는가?
• RQ4 비강한 볼록 함수에 대해 $ \mu_{f,A} $ 가 0일 때도 양수일 수 있는 개선된 강한 볼록성 상수 $ \mu^\star_{f,A} $ 는 어떻게 정의할 수 있는가?
• RQ5 상대 조건수와 고전적 조건수 사이의 관계는 무엇이며, 다각형의 기하학은 어떤 영향을 미치는가?

주요 결과

• 이차 함수 $ f(u) = \frac{1}{2}\langle Qu,u\rangle + \langle b,u\rangle $ 에 대해 상대 조건수 $ \frac{L_{f,A}}{\mu_{f,A}} $ 는 정확히 스케일된 다각형 $ \mathrm{conv}(Q^{1/2}A) $ 의 지름 대 면거리 비율의 제곱과 같다.
• 상대 조건수 $ \frac{L_{f,A}}{\mu_{f,A}} $ 는 고전적 조건수 $ \frac{L_f}{\mu_f} $ 와 다각형 $ \mathrm{conv}(A) $ 의 지름 대 면거리 비율의 제곱의 곱으로부터 상한이 된다.
• 프랭크-울프 알고리즘의 Away Steps는 수렴 속도가 $ 1 - \min\left\{ \frac{\mu^\star_{f,A}}{16L_{f,A}}, \frac{1}{2} \right\} $ 이하로 제한되며, 이는 이전 증명에 비해 단순성과 통찰력을 향상시킨다.
• 투영된 경사하강법은 수렴 속도가 $ 1 - \min\left\{ \frac{\mu^\star_{f,A}}{4L_{f,A}}, \frac{1}{2} \right\} $ 이하로 제한되며, 통합 분석 프레임워크를 통해 수렴이 증명된다.
• 개선된 상수 $ \mu^\star_{f,A} $ 는 항상 $ \mu_{f,A} $ 와 같거나 더 크며, $ \mu_{f,A} = 0 $ 일 때도 양수일 수 있어 일부 비강한 볼록 함수에 대해 선형 수렴을 가능하게 한다.
• 제안된 상대 조건수는 다각형 위에서 일阶 방법의 수렴 증명을 단순화하고 통합하는 기하학적 및 분석적 프레임워크를 제공한다.