[논문 리뷰] Lower Bounds and Conditioning of Differentiable Games.

Adam Ibrahim, Waïss Azizian외 2명|arXiv (Cornell University)|2019. 06. 17.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 2

한 줄 요약

이 논문은 Nesterov의 추론을 일반화하고 p-SCLI 프레임워크를 게임으로 확장하여, 미분 가능 게임에 대한 1차 방법의 반복 복잡도에 대한 기본 하한을 설정한다. 새로운 더 표현력 있는 조건 수를 도입하여, 이차형 및 비강력 볼록-볼록형 설정을 포함한 다양한 게임의 조건을 캡처하며, 관측된 상한과 더 잘 일치하는 결과를 제공한다.

ABSTRACT

Many recent machine learning tools rely on differentiable game formulations. While several numerical methods have been proposed for these types of games, most of the work has been on convergence proofs or on upper bounds for the rate of convergence of those methods. In this work, we approach the question of fundamental iteration complexity by providing lower bounds. We generalise Nesterov's argument -- used in single-objective optimisation to derive a lower bound for a class of first-order black box optimisation algorithms -- to games. Moreover, we extend to games the p-SCLI framework used to derive spectral lower bounds for a large class of derivative-based single-objective optimisers. Finally, we propose a definition of the condition number arising from our lower bound analysis that matches the conditioning observed in upper bounds. Our condition number is more expressive than previously used definitions, as it covers a wide range of games, including bilinear games that lack strong convex-concavity.

연구 동기 및 목표

• 1차 방법의 반복 복잡도에 대한 기본 한계를 설정함으로써 수렴 증명과 상한을 넘어서, 다양한 게임에서의 복잡도를 이해하는 것.
• 원래 단일 목표 최적화를 위한 Nesterov의 하한 증명 기법을 다양한 게임 설정으로 일반화하는 것.
• 단일 목표 최적화에서 사용된 p-SCLI 프레임워크를 유도 기반 게임 해법기의 스펙트럼 하한 유도를 위해 게임으로 확장하는 것.
• 관측된 상한 결과와 일치하고 이전 정의보다 더 표현력 있는 조건 수를 게임에 정의하는 것.
• 이전의 조건 수 정의가 충분히 반영하지 못하는 이차형 및 비강력 볼록-볼록형 게임을 포함한 광범위한 게임 클래스를 다루는 것.

제안 방법

• 1차 블랙박스 최적화를 위한 Nesterov의 증명 기법을 다양한 게임 설정으로 일반화하여, 주어진 정확도에 도달하기 위해 필요한 반복 수의 하한을 설정한다.
• 구조적 선형 시스템을 사용하여 악성 경우 행동을 모델링함으로써, 유도 기반 해법기의 스펙트럼 하한을 도출하기 위해 p-SCLI(p-Step Convergence Lower Bound) 프레임워크를 게임에 적응시킨다.
• 유도된 하한 분석에 기반하여, 어떤 1차 방법이라도 최소한의 반복 수가 필요로 하는 악성 경우 게임 인스턴스를 구성한다.
• 하한 분석을 통해 다양한 게임에 대한 새로운 조건 수를 정의하며, 이는 게임을 해결하는 데 필요한 본질적 어려움을 반영하고 상한 결과와 일치한다.
• 제안된 조건 수가 강력 볼록-볼록형 설정에서는 기존 정의로 축소되지만, 이차형 및 기타 비강력 볼록-볼록형 게임으로 의미 있게 확장됨을 보여준다.
• 새로운 조건 수를 사용하여 다양한 게임 유형의 이론적 복잡도를 비교함으로써, 다양한 게임 클래스에서의 표현력이 뛰어남을 보여준다.

실험 결과

연구 질문

• RQ1 1차 방법의 반복 복잡도에 대한 기본 하한은 다양한 게임에서 어떻게 설정되는가?
• RQ2 Nesterov의 단일 목표 최적화에 대한 추론 기법은 어떻게 다양한 게임 설정으로 일반화될 수 있는가?
• RQ3 p-SCLI 프레임워크는 유도 기반 해법기의 스펙트럼 하한을 도출하기 위해 게임으로 확장될 수 있는가?
• RQ4 관측된 상한 결과와 일치하고 이전 정의보다 더 표현력 있는 조건 수는 무엇인가?
• RQ5 제안된 조건 수는 이차형 및 비강력 볼록-볼록형 게임을 포함한 다양한 게임 유형에서 어떻게 행동하는가?

주요 결과

• 논문은 다양한 게임에서 1차 방법의 반복 복잡도에 비현실적인 하한을 설정하며, 최악의 경우 어떤 1차 방법이라도 주어진 속도 이하로 수렴할 수 없음을 보여준다.
• Nesterov의 추론 기법을 게임으로 일반화함으로써, 1차 기법을 사용한 게임 해결의 본질적 어려움을 이해하는 이론적 기반을 마련한다.
• p-SCLI 프레임워크를 게임으로 확장함으로써, 다양한 해법기의 최악의 경우 수렴 행동을 캡처하는 스펙트럼 하한을 도출할 수 있게 되었다.
• 제안된 조건 수는 이전 정의보다 더 표현력이 뛰어나며, 이차형 게임과 기타 비강력 볼록-볼록형 설정의 조건을 정확히 반영한다.
• 새로운 조건 수는 상한 분석 결과와 일치하여, 실질적인 경험 관측과 일치하는 게임 복잡도의 일관된 측정 기준을 제공한다.
• 결과적으로, 게임 해결의 복잡도는 전통적인 강력 볼록-볼록성 가정으로서는 충분히 기술될 수 없으며, 더 넓은 범위의 조건 수 정의가 필요함을 보여준다.