[论文解读] Lower Bounds and Conditioning of Differentiable Games.

Adam Ibrahim, Waïss Azizian+2 more|arXiv (Cornell University)|Jun 17, 2019

Advanced Bandit Algorithms Research参考文献 7被引用 2

一句话总结

本文通过推广Nesterov的论证方法并扩展p-SCLI框架至博弈问题，为可微博弈中的一阶方法建立了基本的迭代复杂度下界。它引入了一种新颖且更具表达力的条件数，能够捕捉包括双线性博弈和非强凸-凹博弈在内的多种博弈的条件性，与观测到的上界结果匹配得更紧密。

ABSTRACT

Many recent machine learning tools rely on differentiable game formulations. While several numerical methods have been proposed for these types of games, most of the work has been on convergence proofs or on upper bounds for the rate of convergence of those methods. In this work, we approach the question of fundamental iteration complexity by providing lower bounds. We generalise Nesterov's argument -- used in single-objective optimisation to derive a lower bound for a class of first-order black box optimisation algorithms -- to games. Moreover, we extend to games the p-SCLI framework used to derive spectral lower bounds for a large class of derivative-based single-objective optimisers. Finally, we propose a definition of the condition number arising from our lower bound analysis that matches the conditioning observed in upper bounds. Our condition number is more expressive than previously used definitions, as it covers a wide range of games, including bilinear games that lack strong convex-concavity.

研究动机与目标

• 为可微博弈中一阶方法的迭代复杂度建立基本限制，超越收敛性证明和上界分析。
• 将原本针对单目标优化的Nesterov下界论证方法推广至可微博弈场景。
• 将单目标优化中使用的p-SCLI框架扩展至博弈问题，推导基于导数的博弈求解器的谱下界。
• 定义一种与观测到的上界行为一致、且比以往定义更具表达力的博弈条件数。
• 涵盖广泛的博弈类型，包括双线性博弈和非强凸-凹博弈，而这些类型在以往的条件数定义中未能被充分捕捉。

提出的方法

• 将Nesterov针对一阶黑箱优化的证明技术推广至可微博弈场景，建立实现给定精度所需迭代次数的下界。
• 将p-SCLI（p步收敛下界）框架适配至博弈问题，利用结构化线性系统建模最坏情况行为，推导基于导数的求解器的谱下界。
• 构建最坏情况的博弈实例，使任何一阶方法都必须达到最小迭代次数，基于推导出的下界分析。
• 通过下界分析定义一种新的可微博弈条件数，反映求解博弈的固有难度，并与上界结果保持一致。
• 证明所提出的条件数在强凸-凹设定下退化为已知定义，但能有意义地扩展至双线性博弈及其他非强凸-凹博弈。
• 利用新条件数比较各类博弈的理论复杂度，展示其在多样化博弈类别中的表达力。

实验结果

研究问题

• RQ1 一阶方法在可微博弈中的基本迭代复杂度下界是什么？
• RQ2 Nesterov针对单目标优化的论证方法如何适应可微博弈场景？
• RQ3 p-SCLI框架能否扩展至推导基于导数的博弈求解器的谱下界？
• RQ4 是否存在一种更具表达力的可微博弈条件数，能与观测到的上界行为一致？
• RQ5 所提出的条件数在不同博弈类型（包括双线性博弈和非强凸-凹博弈）中的行为如何？

主要发现

• 本文建立了可微博弈中一阶方法迭代复杂度的非平凡下界，表明在最坏情况下，任何此类方法都无法快于某一特定速率收敛。
• 将Nesterov的论证推广至博弈问题，为理解使用一阶技术求解博弈的固有难度提供了理论基础。
• 将p-SCLI框架扩展至博弈问题，使得能够推导出捕捉广泛求解器最坏情况收敛行为的谱下界。
• 所提出的条件数比以往定义更具表达力，因为它能正确捕捉双线性博弈及其他非强凸-凹设定的条件性。
• 新条件数与上界分析一致，提供了一致的博弈复杂性度量，与实际中的经验观察相匹配。
• 结果表明，仅靠传统的强凸-凹性假设无法完全捕捉求解博弈的复杂性，因此需要更广泛的条件数定义。