[논문 리뷰] A Hölderian backtracking method for min-max and min-min problems

Jérôme Bolte, Lilian E. Glaudin외 2명|arXiv (Cornell University)|2020. 07. 17.

Stochastic Gradient Optimization Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 값 함수의 헬더 연속성(regularity)을 활용하여 자동으로 적응하는 스텝 크기를 허용하는, 최소-최대 및 최소-최소 최적화 문제를 위한 새로운 백트랙킹 경사수하 방법을 제안한다. 반대칭 다항식 및 유일성 가정 하에서, 이 방법은 임계점으로의 수렴을 보장하며 전역 수렴 속도가 $ O(\epsilon^{-[2+c]}) $ 임을 입증한다. 여기서 $ c $ 는 극히 작은 비용이며, 이는 GAN 및 최적 운반 문제에서 뛰어난 성능을 보인다.

ABSTRACT

We present a new algorithm to solve min-max or min-min problems out of the convex world. We use rigidity assumptions, ubiquitous in learning, making our method applicable to many optimization problems. Our approach takes advantage of hidden regularity properties and allows us to devise a simple algorithm of ridge type. An original feature of our method is to come with automatic step size adaptation which departs from the usual overly cautious backtracking methods. In a general framework, we provide convergence theoretical guarantees and rates. We apply our findings on simple GAN problems obtaining promising numerical results.

연구 동기 및 목표

• 대안적 학습 및 게임 이론에서 발생하는 비볼록 최소-최대 및 최소-최소 문제를 위한 강력하고 적응형 최적화 알고리즘을 개발한다.
• 특히 반대칭 다항식 구조와 유일한 최적 반응(best response)을 전제로 하여 최소한의 가정 하에서 이론적 수렴 보장을 확립한다.
• 값 함수의 숨겨진 헬더 연속성(regularity)을 이용해 보수적인 백트랙킹을 피하고, 공격적인 스텝 크기를 가능하게 한다.
• 단조성 조건이 필요 없는 자동 선색색선(line search)을 유지하면서도 충분한 감소를 보장하는 실용적인 알고리즘을 제공한다.
• Sinkhorn GAN 및 워셔스타인 GAN과 같은 도전적인 문제들에 대해 수치적 검증을 수행한다.

제안 방법

• 최소-최대 문제를 값 함수 $ g(x) = \max_y L(x,y) $ 에 대한 경사하강법으로 간주하며, 반대칭 다항식 가정 하에서 국소적으로 헬더 연속인 경사의 성질을 활용한다.
• 충분한 감소 조건을 포함한 비단조화(backtracking) 전략을 도입하여 스텝 크기 $ \gamma_n $ 를 적응적으로 조정한다. 이 조건은 $ \|\nabla_x L(x_n, y_n)\|^{\rho k} $ 를 포함한다.
• 스텝 크기는 $ \gamma_n(x_n) = \alpha^k \min\{1, \|\nabla_x L(x_n, y_n)\|^{\rho k}\} \gamma $ 로 갱신되며, 여기서 $ \alpha \in (0,1) $ 이다. 이는 기울기 감쇠가 느릴 경우 큰 스텝을 허용한다.
• 핵심 기여는 값 함수의 숨겨진 정규성(regularity)을 이용해 큰 스텝 크기를 정당화하는 데 있다. 이는 기존의 보수적인 백트랙킹 전략과는 다릅니다.
• 백트랙킹 색인 $ k_n $ 의 단조성 조건을 요구하지 않음으로써 충분한 감소를 유지하면서도 효율성을 향상시킨다.
• 정확한 최대값이 불가능한 문제, 예를 들어 워셔스타인 GAN에서와 같이, $ y_n \approx \arg\max_y L(x_n, y) $ 를 만족하는 경사상승 근사치를 사용한다.

실험 결과

연구 질문

• RQ1 값 함수의 내재적 정규성(regularity)을 이용해 자동으로 스텝 크기를 조정하는 그래디언트 기반 방법을 최소-최대 문제에 대해 설계할 수 있는가?
• RQ2 값 함수 $ g(x) = \max_y L(x,y) $ 가 국소적으로 헬더 연속인 경사를 가지기 위한 조건은 무엇인가?
• RQ3 강한 볼록성 또는 미분 가능성 가정 없이도 최소-최대 문제에 대해 전역 수렴과 비점근적 수렴 속도를 확보할 수 있는가?
• RQ4 실제 적용에서 자동 스텝 크기 조정은 전통적인 백트랙킹 또는 일정한 스텝 크기 방법보다 어떻게 비교되는가?
• RQ5 대각선 백트랙킹(diagonal backtracking)은 수렴 속도와 실용적 효율성에 어떤 영향을 미치는가?

주요 결과

• 백트랙킹 헬더 방법은 $ O(\epsilon^{-[2+c]}) $ 의 전역 수렴 속도를 확보한다. 여기서 $ c $ 는 대각선 백트랙킹 과정에서 발생하는 극히 작은 비용이다.
• 반대칭 다항식 및 유일성 가정 하에서, 임계점 $ (x^*, y^*) $ 에 대해 $ y^* = \arg\max_y L(x^*, y) $ 이고 $ \nabla_x L(x^*, y^*) = 0 $ 를 만족하는 점으로 수렴이 보장된다.
• 값 함수의 경사의 국소적 헬더 연속성 성질을 이용해 큰 스텝 크기를 정당화하는 이론적 근거를 제공한다.
• Sinkhorn GAN 및 워셔스타인 GAN에 대한 수치 실험 결과에서 뛰어난 성능을 보이며, 일정한 스텝 크기 및 표준 백트랙킹 방법을 능가한다.
• 백트랙킹 색인의 단조성 조건 없이도 충분한 감소를 유지함으로써 실용적 효율성을 향상시킨다.
• 분석의 부산물로, 헬더 경사 방법에 대한 전역 수렴 결과를 도출하였으며, 이는 비볼록 최적화 분야의 기존 연구를 확장한다.