[논문 리뷰] Linear Lower Bounds and Conditioning of Differentiable Games

Adam Ibrahim, Waïss Azizian외 2명|arXiv (Cornell University)|2019. 06. 17.

Advanced Bandit Algorithms Research참고 문헌 27인용 수 12

한 줄 요약

이 논문은 미분 가능한 게임에서의 1차 방법의 수렴 속도에 대해 선형 하한을 설정하며, 네스테로프의 도미노 추론과 p-SCLI 프레임워크를 n명의 플레이어 게임으로 일반화한다. 강한 볼록성 또는 강한 오목성 없이도 선형 수렴 분석이 가능하도록, 이중선형 게임에서도 유한한 값을 유지하는 새로운 조건수를 도입하며, 부드럽고 강한 볼록-강한 오목 및 이중선형 설정에서 기존 상한의 날카로움을 증명한다.

ABSTRACT

Recent successes of game-theoretic formulations in ML have caused a resurgence of research interest in differentiable games. Overwhelmingly, that research focuses on methods and upper bounds on their speed of convergence. In this work, we approach the question of fundamental iteration complexity by providing lower bounds to complement the linear (i.e. geometric) upper bounds observed in the literature on a wide class of problems. We cast saddle-point and min-max problems as 2-player games. We leverage tools from single-objective convex optimisation to propose new linear lower bounds for convex-concave games. Notably, we give a linear lower bound for $n$-player differentiable games, by using the spectral properties of the update operator. We then propose a new definition of the condition number arising from our lower bound analysis. Unlike past definitions, our condition number captures the fact that linear rates are possible in games, even in the absence of strong convexity or strong concavity in the variables.

연구 동기 및 목표

• 1차 방법의 수렴 속도에 대한 기본적인 한계를 설정함으로써, 특히 강한 볼록성 또는 강한 오목성이 없는 경우의 미분 가능한 게임에서의 성능 한계를 규명하는 것.
• 특히 이중선형 문제에서 기존 정의가 실패하는 볼록-오목 게임에 대해 의미 있는 조건수의 부재를 해결하는 것.
• 원래 단일 목표 최적화에 대해 개발된 기존 하한 기법을 n명의 플레이어 게임으로 일반화하는 것.
• 강한 볼록성 또는 강한 오목성이 없더라도 선형 수렴 잠재력을 반영하는 조건수를 도출하는 것.
• 주요 문제 클래스에서 기존 상한이 유도된 하한과 일치함을 보여줌으로써 상한의 날카로움을 검증하는 것.

제안 방법

• 무한 차원 공간에서의 어려운 최소-최대 문제를 구성함으로써 네스테로프의 도미노 추론을 2명의 플레이어 게임으로 일반화하여, 수렴 속도에 대해 선형 하한을 도출한다.
• 비대칭 자코비안을 가진 n명의 플레이어 게임에 p-SCLI 프레임워크를 확장하여, 유한 차원 이차 게임에서의 업데이트 연산자의 스펙트럼 분석을 가능하게 한다.
• 바나흐 대수에서 업데이트 연산자의 스펙트럼 성질을 이용하여, 플레이어 수가 임의일 경우에도 유효한 하한을 유도한다. 이는 2명의 플레이어 게임과 최소-최대 문제를 포함한다.
• 게임의 자코비안의 스펙트럼 반경과 고유값 분포에 기반한 새로운 조건수를 제안하며, 이는 이중선형 게임에서도 여전히 유한한 값을 유지한다.
• 부드럽고 강한 볼록-강한 오목 및 이중선형 게임에 이 프레임워크를 적용하여, 하한이 알려진 상한과 일치함을 보여준다.
• Fallah 등(2020)과 Azizian 등(2020)의 후속 상한과의 비교를 통해 하한의 날카로움을 검증한다.

실험 결과

연구 질문

• RQ1 강한 볼록성 또는 강한 오목성이 없더라도, n명의 플레이어 미분 가능한 게임에서 1차 방법에 대해 선형 하한을 설정할 수 있는가?
• RQ2 기존 정의가 실패하는 이중선형 설정에서도 여전히 의미 있고 유한한 값을 가지는 볼록-오목 게임을 위한 조건수가 존재하는가?
• RQ3 비대칭 자코비안을 가진 n명의 플레이어 게임으로 p-SCLI 프레임워크를 일반화하여 날카로운 하한을 도출할 수 있는가?
• RQ4 부드럽고 강한 볼록-강한 오목 및 이중선형 게임과 같은 주요 문제 클래스에서 유도된 하한이 기존 상한과 일치하는가?
• RQ5 고유값 분석 또는 게임 헤시안의 구조적 제약 조건을 통합함으로써 하한을 더 날카롭게 만들 수 있는가?

주요 결과

• 두 단계 선형 스펙트럼 가정 하에, 2명의 플레이어 게임에서 일반화된 도미노 추론을 사용하여 1차 블랙박스 방법에 대해 선형 하한을 확립하였다.
• 비대칭 자코비안을 가진 n명의 플레이어 게임에 p-SCLI 프레임워크를 확장하여, 이차 게임에 대해 날카로운 하한을 도출하였으며, n=1인 경우 Arjevani 등(2016)의 결과를 복원한다.
• 이중선형 게임에서도 여전히 유한한 값을 가지는 새로운 조건수를 제안하였으며, 이는 강한 볼록성 또는 강한 오목성이 없더라도 선형 수렴 잠재력을 반영한다.
• 정리 3의 하한이 부드럽고 강한 볼록-강한 오목 게임에서 날카로움을 보이며, Fallah 등(2020)의 상한과 일치함을 입증하였다.
• 비특이 자코비안을 가진 이중선형 게임에서도 동일한 하한이 날카로움을 보이며, Azizian 등(2020)의 결과로 확인되었으며, 이는 그 방법의 최적성과 일치함을 시사한다.
• 결과는 기존 방법이 연구된 클래스에서 최적이며, 향후 고유값 분석 또는 구조적 제약 조건을 통한 하한의 더 강력한 개선 가능성을 시사한다.