[论文解读] An automatic system to detect equivalence between iterative algorithms

Shipu Zhao, Laurent Lessard+1 more|arXiv (Cornell University)|May 10, 2021

Advanced Optimization Algorithms Research参考文献 41被引用 4

一句话总结

该论文提出了一种受控制理论启发的框架，通过将算法建模为带有非线性反馈的线性时不变系统，自动检测迭代凸优化方法中的算法等价性。利用传递函数和符号计算，该框架可识别何时两个算法为oracle等价——即在相同初始化和参数设置下产生完全相同的函数调用序列——从而揭示ADMM、Chambolle-Pock及外梯度变体等广泛使用方法之间的深层结构联系。该框架已集成于Linnaeus软件包中，用于算法搜索与分类。

ABSTRACT

When are two algorithms the same? How can we be sure a recently proposed algorithm is novel, and not a minor twist on an existing method? In this paper, we present a framework for reasoning about equivalence between a broad class of iterative algorithms, with a focus on algorithms designed for convex optimization. We propose several notions of what it means for two algorithms to be equivalent, and provide computationally tractable means to detect equivalence. Our main definition, oracle equivalence, states that two algorithms are equivalent if they result in the same sequence of calls to the function oracles (for suitable initialization). Borrowing from control theory, we use state-space realizations to represent algorithms and characterize algorithm equivalence via transfer functions. Our framework can also identify and characterize some algorithm transformations including permutations of the update equations, repetition of the iteration, and conjugation of some of the function oracles in the algorithm. To support the paper, we have developed a software package named Linnaeus that implements the framework to identify other iterative algorithms that are equivalent to an input algorithm. More broadly, this framework and software advances the goal of making mathematics searchable.

研究动机与目标

• 解决新提出的迭代优化算法是否真正新颖，还是仅是已有方法的重新参数化这一挑战。
• 开发一种系统化且计算上可行的方法，以检测迭代算法之间的等价性，超越表面的语法差异。
• 使研究人员能够自动发现文献中算法之间的关联，例如ADMM、Douglas-Rachford与外梯度方法之间的联系。
• 支持构建一个可搜索、可扩展的优化算法知识库，以加速算法设计与分析。

提出的方法

• 将迭代优化算法表示为与静态非线性（如梯度oracle）构成反馈的线性时不变（LTI）系统。
• 使用符号代数计算每个算法系统表示的传递函数，以捕捉其输入输出行为。
• 将oracle等价性定义为：在相同初始化和参数设置下，两个算法产生完全相同的oracle调用序列。
• 使用符号方程求解，确定两个算法传递函数相等的参数条件，从而证明其等价性。
• 将框架扩展至处理算法变换，如平移等价性、更新重复和oracle共轭。
• 在Linnaeus中实现该框架，该工具可将输入算法解析为规范形式，并从不断增长的算法库中检索出等价的已知算法。

实验结果

研究问题

• RQ1 在何种条件下，看似不同的迭代优化算法可被视为在oracle调用序列上等价？
• RQ2 线性系统表示的传递函数是否能唯一识别多样化的一阶方法中的算法等价性？
• RQ3 如何系统性地检测并表征诸如重排、重复或共轭更新等算法变换？
• RQ4 该框架在多大程度上可扩展至随机、分布式或自适应算法，同时保持等价性检测能力？
• RQ5 该方法能否用于自动将新算法分类并链接至文献中的已有算法？

主要发现

• 该框架成功识别出四个知名算法——改进的Arrow–Hurwicz方法、基于过去的外推法、乐观镜像下降法与反射梯度法——在适当初始化下为oracle等价，尽管其语法形式各异。
• 此前需大量数学推导才能建立的Chambolle-Pock、Douglas-Rachford与ADMM之间的联系，现可通过单一可交换图示借助传递函数分析得以揭示。
• Linnaeus能正确识别文献中的已知算法变体，并将其映射至规范形式，展示了其作为搜索与分类工具的实用性。
• 该方法不仅可检测标准算法间的等价性，还可检测平移等价性与更新重复等变换下的等价性，表明其对结构重参数化的强鲁棒性。
• 通过将oracle等价性重新定义为共享依赖图与跨运行完全相同的oracle调用序列，该框架可自然扩展至随机与分布式算法。
• 符号计算使能够自动推导出两个算法实现等价性的参数条件，例如DR与ADMM之间的等价性。