[논문 리뷰] The limits of min-max optimization algorithms: convergence to spurious non-critical sets

Ya-Ping Hsieh, Panayotis Mertikopoulos외 1명|arXiv (Cornell University)|2020. 06. 16.

Stochastic Gradient Optimization Techniques참고 문헌 65인용 수 13

한 줄 요약

이 논문은 최소-최대 최적화 알고리즘—일阶 및 이阶 방법, 적응형 기법, 히우리스틱 변형을 포함—이 비볼록/비볼록 문제에서 기저 게임의 정류점이 없는 가짜 비임계 집합으로 수렴함을 보여준다. 저자들은 이러한 알고리즘이 일반적으로 평균장 동역학계의 내부 사슬전이성(ict) 집합으로 수렴함을 입증하였으며, 비록 안정성 없는 다변수를 거의 확실히 피하는 바이지만, 정류점이 아닌 매력집합으로 지속적으로 수렴할 수 있음을 보여, 기존 알고리즘의 본질적 수렴 실패를 드러낸다.

ABSTRACT

Compared to ordinary function minimization problems, min-max optimization algorithms encounter far greater challenges because of the existence of periodic cycles and similar phenomena. Even though some of these behaviors can be overcome in the convex-concave regime, the general case is considerably more difficult. On that account, we take an in-depth look at a comprehensive class of state-of-the art algorithms and prevalent heuristics in non-convex / non-concave problems, and we establish the following general results: a) generically, the algorithms' limit points are contained in the ICT sets of a common, mean-field system; b) the attractors of this system also attract the algorithms in question with arbitrarily high probability; and c) all algorithms avoid the system's unstable sets with probability 1. On the surface, this provides a highly optimistic outlook for min-max algorithms; however, we show that there exist spurious attractors that do not contain any stationary points of the problem under study. In this regard, our work suggests that existing min-max algorithms may be subject to inescapable convergence failures. We complement our theoretical analysis by illustrating such attractors in simple, two-dimensional, almost bilinear problems.

연구 동기 및 목표

• 비볼록/비볼록 설정에서 최신 최소-최대 최적화 알고리즘의 수렴 행동을 분석하는 것, 여기서 표준 수렴 보장이 실패함.
• 최근 이론적 진전에도 불구하고 기존 알고리즘이 단순한 거의 이차형 게임에서 정류점으로 수렴하지 못하는 이유를 규명하는 것.
• SGDA, 엑스트라-그라디언트, 프록시멀, 적응형 방법 등 다양한 알고리즘의 분석을 스토하스틱 근사 이론에 기반한 통합 이론 프레임워크로 통합하는 것.
• 알고리즘이 공통의 평균장 시스템의 내부 사슬전이성(ict) 집합으로 수렴함을 보여, 이 집합이 원래 게임의 정류점이 없을 수 있음을 입증하여 근본적인 제약을 드러내는 것.
• 아담과 CGD와 같은 고급 방법조차도 최악의 해인 최대-최소 점으로 수렴할 수 있음을 보여, 실용적 신뢰성에 영향을 미침.

제안 방법

• 시간에 따라 변하는 스텝 사이즈와 노이즈가 있는 기울기를 갖는 로빈스-몬로(RM) 스토하스틱 근사 체계로 최소-최대 알고리즘을 수식화하는 것.
• 연속 시간 평균장 동역학에서 내부 사슬전이성(ict) 집합 이론을 활용해 이러한 알고리즘의 점근적 행동을 분석하는 것.
• 다양한 알고리즘(예: SGDA, SGA, ConO, CGD, OG/PEG)에 대한 연속 시간 근사 시스템을 이산 동역학의 평균장 근사로 유도하는 것.
• 스토하스틱 안정성 이론을 사용해 알고리즘이 거의 확실히 불안정한 다변수를 피하고 평균장 시스템의 매력집합으로 수렴함을 보여주는 것.
• 가짜 궤적 및 외란 이론을 적용해 이산 알고리즘과 연속 동역학 간의 연결을 맺으며, 특히 일정 또는 적응형 스텝 사이즈 하에서의 분석을 수행하는 것.
• 두 차원의 거의 이차형 게임에서 수치 실험을 수행해 가짜 ICT 집합을 시각화하고, 다양한 방법 간의 알고리즘 행동을 비교하는 것.

실험 결과

연구 질문

• RQ1 비볼록/비볼록 설정에서 최소-최대 최적화 알고리즘은 기저 게임의 정류점으로 수렴하는가?
• RQ2 기존 알고리즘이 기저 게임의 정류점이 없는 매력집합으로 수렴할 수 있으며, 만약 그렇다면 어떤 조건에서 그러한 수렴이 발생하는가?
• RQ3 일阶, 이阶, 적응형 알고리즘 변형은 가짜 집합으로의 수렴 측면에서 어떻게 행동하는가?
• RQ4 일정 스텝 사이즈와 아담과 같은 적응형 방법이 악성 해로의 수렴을 악화시키는 정도는 어느 정도인가?
• RQ5 최소-최대 알고리즘의 평균장 동역학은 지속적인 순환 또는 비임계 집합으로의 수렴을 예측하고 설명하는 데 사용될 수 있는가?

주요 결과

• 최소-최대 최적화 알고리즘은 원래 게임의 정류점이 없는 경우에도 일반적으로 공통의 평균장 동역학계의 내부 사슬전이성(ict) 집합으로 수렴한다.
• SGDA, SGA, ConO, CGD, OG/PEG, 적응형 방법을 포함한 모든 분석 대상 알고리즘은 단순한 두 차원의 거의 이차형 게임에서 동일한 가짜 ICT 집합으로 수렴한다.
• 아담과 엑스트라아담과 같은 적응형 방법은 거의 이차형 게임(11)에서 최대-최소 점(0,0)으로 수렴하며, 이는 최소-최대 균형이 아니므로 의미 있는 해를 찾지 못함을 시사한다.
• 두 차원 방법인 경쟁 기울기 경사법(CGD)과 공감 최적화(ConO)조차도 가짜 매력집합으로 수렴하며, 특히 ConO는 불안정한 정류점으로 유일하게 수렴한다.
• 이 알고리즘들의 연속 시간 평균장 동역학은 작은 외란에 대해 안정적이며, 이는 가짜 ICT 집합이 수치적 노이즈의 산물이 아니라 안정적임을 의미한다.
• 비록 거의 확실히 불안정한 다변수를 피하고 있지만, 알고리즘은 정류점이 아닌 매력집합에 갇혀 있어, 비볼록 최소-최대 문제에서 피할 수 없는 수렴 실패를 드러낸다.