[논문 리뷰] Newton-type Methods for Minimax Optimization

Guojun Zhang, Kaiwen Wu외 2명|arXiv (Cornell University)|2020. 06. 25.

Advanced Bandit Algorithms Research참고 문헌 50인용 수 11

한 줄 요약

이 논문은 비볼록-비오목 최소화 최적화를 위한 두 가지 새로운 뉴턴형 알고리즘—기울기 하강-뉴턴(GDN)과 완전 뉴턴(CN)—을 제안한다. 이 알고리즘들은 이차 정보를 활용하여 국소 초선형 수렴성을 달성한다. 주요 기여는 CN이 국소 이차 수렴성을 확보하면서도, 계산 복잡도가 일阶 방법과 유사한 수준을 유지하면서도 불량조건 문제를 효과적으로 다룬다는 점이다.

ABSTRACT

Differential games, in particular two-player sequential zero-sum games (a.k.a. minimax optimization), have been an important modeling tool in applied science and received renewed interest in machine learning due to many recent applications, such as adversarial training, generative models and reinforcement learning. However, existing theory mostly focuses on convex-concave functions with few exceptions. In this work, we propose two novel Newton-type algorithms for nonconvex-nonconcave minimax optimization. We prove their local convergence at strict local minimax points, which are surrogates of global solutions. We argue that our Newton-type algorithms nicely complement existing ones in that (a) they converge faster to strict local minimax points; (b) they are much more effective when the problem is ill-conditioned; (c) their computational complexity remains similar. We verify the effectiveness of our Newton-type algorithms through experiments on training GANs which are intrinsically nonconvex and ill-conditioned. Our code is available at https://github.com/watml/min-max-2nd-order.

연구 동기 및 목표

• 비볼록-비오목 최소화 문제에서 일阶 방법의 한계, 특히 불량조건 설정에서의 열악한 수렴 성능를 해결하기 위해.
• 기존 일阶 방법보다 더 빠른 국소 수렴 성능를 보이는 이차 정보 기반 알고리즘을 개발하기 위해.
• 최소화 최적화에서 뉴턴형 방법의 국소 수렴 속도와 수렴 이웃 영역을 체계적으로 분석하기 위해.
• 생성적 적대적 네트워크(GAN) 훈련과 같은 실질적인 딥러닝 응용 분야에서 이차 정보 기반 방법을 효율적으로 구현하기 위해.

제안 방법

• 후행자에 대해 뉴턴 단계를, 선도자에 대해 기울기 하강법을 사용하는 Gradient-Descent-Newton(GDN) 알고리즘을 제안한다.
• 선도자와 후행자 모두에 대해 역 헤시안 정보를 활용해 뉴턴 업데이트를 수행하는 Complete Newton(CN) 알고리즘을 도입한다.
• 고차원 설정에서 헤시안 역행렬 시스템을 효율적으로 해결하기 위해 뉴턴-CG 방법을 활용한다.
• 안정성과 수렴 보장을 위해 정확한 선형 탐색을 사용한 교차 업데이트 방식을 적용한다.
• 변형된 안장점 조건을 바탕으로 연속 동역학과 이산 업데이트 규칙을 유도한다.
• GDN 및 CN에 대해 명시적인 비점근 수렴 속도와 초기화 이웃 영역을 증명한다.

실험 결과

연구 질문

• RQ1 비볼록-비오목 최소화 문제에서 이차 정보 기반 방법이 일阶 방법보다 더 빠른 국소 수렴 성능를 보일 수 있는가?
• RQ2 특히 선도자 또는 후행자의 헤시안에서 불량조건 문제가 발생할 경우, 뉴턴형 방법은 어떻게 행동하는가?
• RQ3 고차원 설정에서 이차 정보 기반 방법은 일阶 방법과 유사한 계산 효율성을 유지할 수 있는가?
• RQ4 최소화 최적화에서 뉴턴형 알고리즘의 정확한 국소 수렴 속도와 초기화 이웃 영역는 무엇인가?
• RQ5 이러한 방법들은 생성적 적대적 네트워크(GAN) 훈련과 같은 실세계 딥러닝 문제에 효과적으로 적용될 수 있는가?

주요 결과

• 완전 뉴턴(CN) 알고리즘은 стрict한 국소 최소화 최적점으로의 국소 이차 수렴을 달성하며, 일阶 방법보다 수렴 속도에서 뚜렷한 우월성을 보인다.
• CN은 선도자 및 후행자 문제에서 모두 불량조건 문제를 효과적으로 완화하여, 조건수에 관계없이 빠른 수렴 성능를 유지한다.
• 제안된 알고리즘, 특히 CN은 계산 효율성이 뛰어나며, 일阶 방법(예: TGDA 및 FR)과 유사한 복잡도를 유지함에도 불구하고 이차 정보 기반 방법임에도 불구하고 성능이 뛰어나다.
• 이론적 분석을 통해 이전에 유사한 방법들에서 부족했던 정확한 비점근 수렴 속도와 명시적인 초기화 이웃 영역를 제공한다.
• GAN 훈련에 대한 실험 결과, CN은 특히 불량조건 설정에서 일阶 기반 알고리즘보다 더 빠르고 강건한 수렴 성능를 보였다.