[논문 리뷰] On the Impossibility of Global Convergence in Multi-Loss Optimization

Alistair Letcher|arXiv (Cornell University)|2020. 05. 26.

Advanced Bandit Algorithms Research참고 문헌 38인용 수 9

한 줄 요약

이 논문은 미세한 정규성 조건 하에 다중 손실 최적화에서 전역 수렴이 본질적으로 불가능하다는 것을 증명한다. 이는 이론적으로 타당한 알고리즘조차도 마찬가지다. 저자들은 해석적이고 강한(coercive) 손실을 가지며 유일한 임계점이 엄격한 최대값인 두 명의 플레이어로 구성된 제로섬 게임을 구성함으로써, 엄격한 최대값을 피하는 어떤 합리적인 알고리즘도 수렴하지 않거나 순환하게 되어 전역 수렴이 불가능하다는 점을 보여주며, 다중 에이전트 기계학습 최적화의 핵심적 한계를 드러낸다.

ABSTRACT

Under mild regularity conditions, gradient-based methods converge globally to a critical point in the single-loss setting. This is known to break down for vanilla gradient descent when moving to multi-loss optimization, but can we hope to build some algorithm with global guarantees? We negatively resolve this open problem by proving that desirable convergence properties cannot simultaneously hold for any algorithm. Our result has more to do with the existence of games with no satisfactory outcomes, than with algorithms per se. More explicitly we construct a two-player game with zero-sum interactions whose losses are both coercive and analytic, but whose only simultaneous critical point is a strict maximum. Any 'reasonable' algorithm, defined to avoid strict maxima, will therefore fail to converge. This is fundamentally different from single losses, where coercivity implies existence of a global minimum. Moreover, we prove that a wide range of existing gradient-based methods almost surely have bounded but non-convergent iterates in a constructed zero-sum game for suitably small learning rates. It nonetheless remains an open question whether such behavior can arise in high-dimensional games of interest to ML practitioners, such as GANs or multi-agent RL.

연구 동기 및 목표

• 표준 경사 하강 방법의 실패가 알려져 있음에도 불구하고, 미세한 정규성 조건 하에 다중 손실 최적화에서 전역 수렴 보장을 달성할 수 있는지 조사하기 위해.
• 다중 에이전트 학습 환경에서 전역 수렴을 방해하는 기본적인 구조적 장벽을 규명하기 위해.
• 강한(coercive)이고 해석적인 손실을 가지며 유일한 임계점이 엄격한 최대값인 반례 게임을 구성하기 위해.
• 엄격한 최대값을 피하는 어떤 알고리즘도 이러한 환경에서 전역 수렴을 이룰 수 없음을 보여주기 위해.
• 작은 일정한 학습률 하에서, 광범위한 경사 기반 방법의 클래스가 거의 확실히 유계이지만 수렴하지 않는 반복값을 생성함을 보여주기 위해.

제안 방법

• 해석적이고 강한(coercive) 손실 함수를 가지며 유일한 임계점이 엄격한 최대값이 되도록 하는 두 명의 플레이어로 구성된 제로섬 게임을 구성하기 위해.
• 엄격한 최대값을 피하는 어떤 알고리즘도 정의상 최대값으로 수렴할 수 없으므로, 전역 수렴에 실패할 수밖에 없다는 것을 증명하기 위해.
• 측도 이론적 추론을 사용하여, 원점(최대값)으로 수렴하는 초기 조건의 집합이 르베그 측도 0을 가짐을 보여주기 위해.
• 역함수 정리와 리프시츠 연속성을 적용하여 업데이트 맵이 국소 미분동형사상임을 확립하고, 반복값 분석을 가능하게 하기 위해.
• 작은 일정한 학습률 하에서 반복값의 유계성은 측도 0인 수렴 집합이 존재하지 않기 때문에 거의 확실히 수렴하지 않음을 보여주기 위해.
• 잠재 진전 측도의 단조성과 볼차노-바이어슈트라스 정리를 바탕으로 한 모순 추론을 통해, 합리적인 알고리즘의 경우 오직 하나의 임계점으로의 수렴이 불가능함을 증명하기 위해.

실험 결과

연구 질문

• RQ1 어떤 경사 기반 알고리즘도 미세한 정규성 조건 하에 다중 손실 최적화에서 전역 수렴을 달성할 수 있는가?
• RQ2 강한(coercive)이고 해석적인 손실을 가지는 다중 에이전트 게임에서 전역 수렴을 방해하는 본질적인 구조적 장벽이 존재하는가?
• RQ3 오직 하나의 임계점이 엄격한 최대값인 게임을 구성할 수 있는가? 이 경우 수렴이 바람직하지 않아 합리적인 알고리즘이 이를 도달할 수 없게 된다.
• RQ4 일정한 학습률을 가지는 표준 경사 기반 방법이 이러한 병리적인 게임에서 유계이지만 수렴하지 않는 행동을 보이는가?
• RQ5 오직 하나의 임계점이 엄격한 최대값인 게임에서 합리적인 알고리즘을 위한 진전 측도가 존재할 수 있는가?

주요 결과

• 해석적이고 강한(coercive) 손실을 가지며 오직 하나의 임계점이 엄격한 최대값인 두 명의 플레이어로 구성된 제로섬 게임을 구성하였다.
• 엄격한 최대값으로 수렴을 피하는 어떤 알고리즘도 이 게임에서 전역 수렴을 이룰 수 없다. 왜냐하면 오직 하나의 임계점이 최소화자(minimizer)가 아니기 때문이다.
• 검토된 알고리즘의 모든 클래스에서 원점으로 수렴하는 초기 조건의 집합은 르베그 측도 0을 가진다.
• 충분히 작은 일정한 학습률 하에서, 모든 알고리즘이 거의 확실히 유계이지만 수렴하지 않는 반복값을 생성한다.
• 단조적이며 아래로 유계인 진전 측도가 존재할 경우, 수렴을 가정하면 모순이 발생하므로, 수렴이 일어날 수 없음을 증명한다.
• 결과는 결정론적 및 확률적 알고리즘 모두에 적용되며, EG, OMD, AGD, CO, CGD, SGA, LOLA를 포함한 광범위한 경사 기반 방법의 클래스로 확장된다.