[논문 리뷰] Solving strongly convex-concave composite saddle point problems with a small dimension of one of the variables

Egor Gladin, Ilya Kuruzov외 4명|arXiv (Cornell University)|2020. 10. 05.

Heat Transfer and Mathematical Modeling인용 수 4

한 줄 요약

이 논문은 하나의 변수 그룹이 작은 차원(약 100 이하)을 가지는 강하게 볼록-볼록형 복합 사鞍점 문제를 해결하기 위한 새로운 알고리즘을 제안한다. 이는 고차원 변수에 대해 근사 기울기 정보를 사용하는 가속화 경사하강법을, 저차원 변수에 대해 에리소이드 또는 폴랴크의 방법을 적용하는 분해 전략을 활용한다. 주요 기여는 일반적인 경우에 $\widetilde{O}(\sqrt{L_{xx}/\mu_x + L_{xy}^2/(μ_xμ_y) + L_{yy}/\mu_y})$의 복잡도 한계를 확보하는 것으로, 특히 차원이 매우 작을 경우(5 이하)에는 근사 기울기 정보를 활용하는 새로운 다차원 이분법 방법을 사용해 $\widetilde{O}(\sqrt{L_{xx}/\mu_x + L_{yy}/\mu_y})$의 복잡도 한계를 달성한다.

ABSTRACT

The article is devoted to the development of algorithmic methods ensuring efficient complexity bounds for strongly convex-concave saddle point problems in the case when one of the groups of variables is high-dimensional, and the other is relatively low-dimensional (up to a hundred). The proposed technique is based on reducing problems of this type to a problem of minimizing a convex (maximizing a concave) functional in one of the variables, for which it is possible to find an approximate gradient at an arbitrary point with the required accuracy using an auxiliary optimization subproblem with another variable. In this case, the ellipsoid method is used for low-dimensional problems (if necessary, with an inexact $\\delta$-subgradient), and accelerated gradient methods are used for high-dimensional problems. For the case of a very small dimension of one of the groups of variables (up to 5), an approach based on a new version of the multidimensional analog of the Yu. E. Nesterov's method on the square (multidimensional dichotomy) is proposed with the possibility of using inexact values of the gradient of the objective functional.

연구 동기 및 목표

• 하나의 변수 그룹이 작은 차원(약 100 이하)을 가지며 다른 하나가 고차원인 강하게 볼록-볼록형 복합 사鞍점 문제를 효율적으로 해결하기 위한 알고리즘을 개발한다.
• 기울기 정보가 근사적이거나 하위 문제를 통해만 제공될 때 최적 또는 근접한 수렴 속도를 달성하는 데 도전한다.
• 차원이 매우 작은 경우(5 이하)에 대해 다차원 이분법과 근사 기울기 오라클을 활용하는 특화된 방법을 설계한다.
• 이러한 문제 유형에 대해 알려진 하한선에 근접하거나 이를 초월하는 이론적 복잡도 한계를 제공한다.
• 고차원 변수에 대해 가속화 경사하강법과 근사 하위문제 해법을 조합하고, 저차원 변수에 대해 정확하거나 효율적인 해법을 적용함으로써 기존 방법을 통합 및 확장한다.

제안 방법

• 한 변수를 고정하고 다른 변수를 최적화하는 방식으로 원래의 사鞍점 문제를 하위 문제의 시퀀스로 분해함으로써, 하나의 변수 그룹이 낮은 차원임을 활용한다.
• 고차원 변수에 대해서는 근사 기울기 정보를 사용하는 가속화 경사하강법을 적용하며, 기울기는 저차원 변수에 대한 하위 문제를 풀어 근사한다.
• 저차원 변수에 대해서는 에리소이드 방법 또는 폴랴크의 방법을 사용하여 하위 문제를 정확하거나 고정밀도로 해결한다.
• 특수한 경우인 매우 낮은 차원(≤5)에 대해서는 새로운 다차원 이분법 방법을 제안하여, 근사 기울기 오라클을 활용해 초입방체 위에서 효율적인 최소화를 수행할 수 있도록 한다.
• 이론적 수렴을 확보하기 위해, 검색 공간을 반복적으로 축소하고 리프시츠 연속성 및 강한 볼록성 파라미터를 이용해 기울기 근사 오차의 경계를 유지한다.
• 하위 문제 해법의 정확도와 목표 정확도 $\varepsilon$에 도달하기 위해 필요한 반복 횟수를 분석함으로써 이론적 복잡도를 유도한다.

실험 결과

연구 질문

• RQ1 한 변수 그룹이 작은 차원이고 다른 변수 그룹이 고차원일 경우, 강하게 볼록-볼록형 사鞍점 문제에 대해 근사 최적의 복잡도를 달성할 수 있는가?
• RQ2 저차원 변수에 대한 하위 문제를 통해 고차원 변수의 근사 기울기 정보를 효율적으로 계산할 수 있는가?
• RQ3 저차원 하위문제를 정확히 해결하는 것과 주 알고리즘의 전체 수렴 속도 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 새로운 다차원 이분법 방법이 근사 기울기 오라클을 사용할 때 매우 낮은 차원의 경우(≤5)에 수렴을 향상시킬 수 있는가?
• RQ5 제안된 방법의 이론적 복잡도 한계는 이 문제 유형에 대해 알려진 하한선과 어떻게 비교되는가?

주요 결과

• 일반적인 경우에 대해 제안된 알고리즘은 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{xy}^2}{\mu_x\mu_y} + \frac{L_{yy}}{\mu_y}}\right)$의 복잡도 한계를 확보한다.
• 차원이 5 이하인 특수한 경우에 대해, 근사 기울기 정보를 활용하는 새로운 다차원 이분법 방법을 사용하여 $\widetilde{O}\left(\sqrt{\frac{L_{xx}}{\mu_x} + \frac{L_{yy}}{\mu_y}}\right)$의 복잡도 한계를 달성한다.
• 고차원 하위문제에서 기울기 근사의 필요 정확도가 $\Delta \leq \frac{1}{4} \cdot \frac{L_f}{M_f + 2L_f R} \cdot \varepsilon$로 제한되며, 이는 하위문제 해법의 반복 횟수를 결정한다.
• 하위문제 해법에 필요한 반복 횟수는 $N = \left\lceil \log_2\left(\frac{4R(M_f + 2L_f R)}{L_f \varepsilon}\right) \right\rceil$로 경계되며, 이는 전체적으로 $\varepsilon$ 정확도로 수렴함을 보장한다.
• 근사 기울기 정보와 저차원 문제의 효율적 해법을 조합함으로써 근사 최적의 복잡도를 달성하며, 알려진 하한선에 로그 인자 이내로 근접한다.
• 이론적 분석을 통해 오차가 $\Delta$에 대해 유도된 경계를 통해 제어되는 한, 기울기 계산의 비정확성에 대해 알고리즘이 강건함을 확인한다.