[논문 리뷰] The Landscape of Nonconvex-Nonconcave Minimax Optimization.

Benjamin Grimmer, Haihao Lu외 2명|arXiv (Cornell University)|2020. 06. 15.

Sparse and Compressive Sensing Techniques참고 문헌 35인용 수 4

한 줄 요약

이 논문은 비볼록-비볼록 최소화 최대화 최적화에서 세 가지 상이한 영역—강한 상호작용, 약한 상호작용, 중간 영역—을 규명하며, 강한 상호작용에 대해서는 전역 선형 수렴을, 약한 상호작용에 대해서는 국소 선형 수렴을 보이며, 중간 영역에서는 한계 순환의 존재를 증명함으로써 비볼록-비볼록 최소화 최대화 문제에서 오랫동안 지속된 이론적 장벽을 해결한다.

ABSTRACT

Minimax optimization has become a central tool for modern machine learning with applications in robust optimization, game theory and training GANs. These applications are often nonconvex-nonconcave, but the existing theory is unable to identify and deal with the fundamental difficulties posed by nonconvex-nonconcave structures. We break this historical barrier by identifying three regions of nonconvex-nonconcave bilinear minimax problems and characterizing their different solution paths. For problems where the interaction between the agents is sufficiently strong, we derive global linear convergence guarantees. Conversely when the interaction between the agents is fairly weak, we derive local linear convergence guarantees. Between these two settings, we show that limiting cycles may occur, preventing the convergence of the solution path.

연구 동기 및 목표

• 현대 기계 학습 응용에서 흔한 비볼록-비볼록 최소화 최대화 문제에서 이론적 이해 부족을 해결하기 위해.
• 에이전트 간 상호작용 강도에 따라 이중선형 최소화 최대화 문제의 해 경로 행동을 분류하기 위해.
• 상호작용 강도에 따라 전역 또는 국소 수렴 보장을 수립하고, 순환 행동으로 인해 수렴이 실패하는 조건을 규명하기 위해.
• GAN, 강건 최적화, 게임 이론에서 비볼록-비볼록 최소화 최대화 문제를 분석하고 해결하기 위한 기초 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 비볼록-비볼록 구조를 가진 이중선형 최소화 최대화 문제의 클래스를 분석하며, 변수 간 상호작용 강도에 초점을 맞춘다.
• 헤시안 행렬의 스펙트럼 성질을 바탕으로 매개변수 공간을 세 영역—강한 상호작용, 약한 상호작용, 중간 상호작용—으로 분할한다.
• 강한 상호작용의 경우, 리아푸노프 함수 분석과 수축 사상 원리를 이용해 전역 선형 수렴을 도출한다.
• 약한 상호작용의 경우, 임계점 주변의 국소 선형화 및 안정성 분석을 통해 국소 선형 수렴을 확립한다.
• 중간 영역에서는 피카르-벤디크손 이론과 동역학 시스템 분석을 이용해 한계 순환의 존재를 증명한다.
• 다양한 상호작용 강도에서 해 경로 행동을 체계적으로 특성화함으로써 이론적 결과를 검증한다.

실험 결과

연구 질문

• RQ1 비볼록-비볼록 최소화 최대화 문제에서 서로 다른 수렴 행동을 유도하는 기본적인 구조적 영역는 무엇인가?
• RQ2 비볼록-비볼록 최소화 최대화 최적화에서 전역 선형 수렴이 발생하는 조건는 무엇인가?
• RQ3 국소 선형 수렴은 언제 성립하며, 이 설정에서 전역 수렴과 어떻게 다를 수 있는가?
• RQ4 비볼록-비볼록 최소화 최대화 문제에서 순환적이거나 수렴하지 않는 해 경로가 나타날 수 있는가, 만약 그렇다면 어떤 조건에서 나타나는가?
• RQ5 에이전트 간 상호작용 강도는 해 경로의 수렴 또는 발산을 어떻게 결정하는가?

주요 결과

• 에이전트 간 상호작용이 충분히 강할 경우, 비볼록-비볼록 최소화 최대화 문제에서 전역 선형 수렴이 확립된다.
• 약한 상호작용 영역에서는 국소 선형 수렴이 증명되어 임계점 주변에서 수렴함을 보여준다.
• 중간 상호작용 영역에서는 해 경로가 한계 순환으로 수렴하여 어떤 임계점으로도 수렴하지 못함을 보여준다.
• 특히 피카르-벤디크손 정리를 활용한 동역학 시스템 이론을 통해 한계 순환의 존재가 엄밀히 증명된다.
• 강한, 약한, 중간 상호작용이라는 세 가지 상이한 영역으로 해 행동을 분류함으로써, 비볼록-비볼록 최소화 최대화 문제에서 수렴을 이해하는 데 완전한 이론적 프레임워크를 제공한다.
• 이러한 결과는 GAN 및 강건 학습과 같은 응용 분야에서 최소화 최대화 최적화 분석에서 오랫동안 지속된 이론적 격차를 해결한다.