[论文解读] A Relaxed Inertial Forward-Backward-Forward Algorithm for Solving Monotone Inclusions with Application to GANs

Radu Ioan Boţ, Michael Sedlmayer+1 more|arXiv (Cornell University)|Mar 17, 2020

Optimization and Variational Analysis参考文献 32被引用 18

一句话总结

本文提出了一种松弛惯性前向-后向-前向（RIFBF）算法，用于求解涉及极大单调算子和单调、Lipschitz连续算子的单调包含问题。通过将惯性效应与松弛参数结合，基于二阶动力系统的显式时间离散化，该方法在单调和伪单调变分不等式设置下实现收敛，并在生成对抗网络（GANs）训练中表现出色，其在 inception score 和 Fréchet inception distance 上的表现优于基线方法。

ABSTRACT

We introduce a relaxed inertial forward-backward-forward (RIFBF) splitting algorithm for approaching the set of zeros of the sum of a maximally monotone operator and a single-valued monotone and Lipschitz continuous operator. This work aims to extend Tseng's forward-backward-forward method by both using inertial effects as well as relaxation parameters. We formulate first a second order dynamical system which approaches the solution set of the monotone inclusion problem to be solved and provide an asymptotic analysis for its trajectories. We provide for RIFBF, which follows by explicit time discretization, a convergence analysis in the general monotone case as well as when applied to the solving of pseudo-monotone variational inequalities. We illustrate the proposed method by applications to a bilinear saddle point problem, in the context of which we also emphasize the interplay between the inertial and the relaxation parameters, and to the training of Generative Adversarial Networks (GANs).

研究动机与目标

• 开发一种新颖算法，结合惯性效应与松弛参数，以求解单调包含问题。
• 通过引入惯性和松弛参数，扩展 Tseng 的前向-后向-前向方法，以提升收敛性和数值稳定性。
• 在一般单调和伪单调变分不等式设置下，为 RIFBF 算法提供收敛性分析。
• 将该方法应用于双线性鞍点问题，并展示惯性和松弛参数之间的相互作用。
• 在 GAN 训练中评估 RIFBF 算法，与 ExtraAdam 和 PDSP 等成熟方法进行性能比较。

提出的方法

• 该方法源自包含惯性和松弛项的二阶动力系统的显式时间离散化。
• 算法通过带有松弛和惯性参数的前向-后向-前向方案更新迭代序列。
• 关键组成部分包括极大单调算子的预解算子和具有 Lipschitz 连续算子的前向步长。
• 惯性项利用过去迭代的内存以加速收敛，而松弛参数则增强数值稳定性。
• 在使用权重裁剪的 WGAN 目标下，结合 Adam 优化器处理随机梯度，将该方法应用于 GAN 训练。
• 测试了一种带有惯性效应的变体（IFBF），其中惯性参数 α 经调优以提升性能。

实验结果

研究问题

• RQ1 在前向-后向-前向框架中引入惯性效应和松弛参数，是否能改善单调包含问题的收敛性和稳定性？
• RQ2 RIFBF 算法在一般单调性假设下（包括伪单调性）是否收敛？
• RQ3 在实际应用中，惯性和松弛参数如何相互作用，其对数值性能有何影响？
• RQ4 RIFBF 方法能否在 GAN 训练中超越现有算法，特别是在 inception score 和 Fréchet inception distance 方面？
• RQ5 RIFBF 在确定性单调情形下的理论收敛保证，是否可推广至实际的非凸、非凹 GAN 训练场景？

主要发现

• RIFBF 算法在一般单调情形下以及在伪单调性假设下，对变分不等式问题均实现收敛。
• 该方法在双线性鞍点问题上表现出改进的数值性能，惯性和松弛参数在收敛速度与稳定性方面展现出显著的相互作用。
• 在使用 WGAN 目标与权重裁剪的 CIFAR10 数据集上进行 GAN 训练时，IFBF Adam 变体实现了 4.59 ± 0.04 的 inception score 和 45.25 ± 0.60 的 FID，优于 ExtraAdam（IS: 4.07 ± 0.05，FID: 56.67 ± 0.61）。
• IFBF Adam 方法在所有对比方法中表现最佳，表明即使在结合 Adam 内置动量的情况下，惯性效应仍能提供额外优势。
• 结果表明，旨在捕捉 GAN 鞍点本质的算法，即使在非凸设置下，也能显著优于标准优化方法。
• RIFBF 在 GAN 训练中取得的实证成功，支持了其理论收敛性声明，尽管该方法的理论证明仅针对确定性、单调设置。