[論文レビュー] A Relaxed Inertial Forward-Backward-Forward Algorithm for Solving Monotone Inclusions with Application to GANs

Radu Ioan Boţ, Michael Sedlmayer+1 more|arXiv (Cornell University)|Mar 17, 2020

Optimization and Variational Analysis参考文献 32被引用数 18

ひとこと要約

本稿では、最大強単調作用素と単調でリプシッツ連続な作用素を含む単調包含問題を解くための緩和型慣性付き前向き・後向き・前向き（RIFBF）アルゴリズムを提案する。2階微分方程式の明示的時間離散化を通じて慣性効果と緩和パラメータを組み合わせることで、単調および擬似単調な変分不等式設定において収束を達成し、生成対抗ネットワーク（GAN）の学習において、インceptionスコアとFréchetインception距離の両面でベースライン手法を上回る実験的成果を示した。

ABSTRACT

We introduce a relaxed inertial forward-backward-forward (RIFBF) splitting algorithm for approaching the set of zeros of the sum of a maximally monotone operator and a single-valued monotone and Lipschitz continuous operator. This work aims to extend Tseng's forward-backward-forward method by both using inertial effects as well as relaxation parameters. We formulate first a second order dynamical system which approaches the solution set of the monotone inclusion problem to be solved and provide an asymptotic analysis for its trajectories. We provide for RIFBF, which follows by explicit time discretization, a convergence analysis in the general monotone case as well as when applied to the solving of pseudo-monotone variational inequalities. We illustrate the proposed method by applications to a bilinear saddle point problem, in the context of which we also emphasize the interplay between the inertial and the relaxation parameters, and to the training of Generative Adversarial Networks (GANs).

研究の動機と目的

• 慣性効果と緩和パラメータを組み合わせた新規アルゴリズムの開発を目的とする。
• Tsengの前向き・後向き・前向き法を、収束性と数値的安定性の向上を図るため、慣性と緩和を組み込んだ形に拡張することを目的とする。
• 一般単調および擬似単調な変分不等式設定において、RIFBFアルゴリズムの収束解析を提供することを目的とする。
• 双線形サドルポイント問題にこの手法を適用し、慣性パラメータと緩和パラメータの間の相互作用を実証することを目的とする。
• GAN学習におけるRIFBFアルゴリズムの評価を行い、ExtraAdam や PDSP といった既存手法と性能を比較することを目的とする。

提案手法

• 本手法は、慣性項と緩和項を含む2階微分方程式の明示的時間離散化から導出される。
• アルゴリズムは、緩和パラメータと慣性パラメータを用いた前向き・後向き・前向きスキームに基づいて反復列を更新する。
• 主な構成要素には、最大強単調作用素の解像作用素と、リプシッツ連続作用素に対する前向きステップが含まれる。
• 慣性項は過去の反復値の記憶を用いて収束を加速するのに対し、緩和パラメータは数値的安定性を向上させる。
• 確率的勾配の最適化にAdamオプティマイザを用い、WGANの目的関数に重みクリッピングを適用することでGAN学習に本手法を適用した。
• 慣性効果を有する変種（IFBF）をテストし、慣性パラメータαを最適化することで性能向上を図った。

実験結果

リサーチクエスチョン

• RQ1 前向き・後向き・前向き枠組みに慣性効果と緩和パラメータを組み込むことで、単調包含問題における収束性と安定性が向上するか？
• RQ2 RIFBFアルゴリズムは、一般単調性仮定、特に擬似単調性を含む条件下でも収束するか？
• RQ3 実際の応用において、慣性パラメータと緩和パラメータはどのように相互作用し、数値的性能にどのような影響を与えるか？
• RQ4 RIFBF手法は、インceptionスコアとFréchetインception距離の観点から、既存のアルゴリズムを上回る性能をGAN学習で達成できるか？
• RQ5 決定的単調ケースにおけるRIFBFの理論的収束保証が、非凸・非凹な実用的GAN学習にまで適用可能か？

主な発見

• RIFBFアルゴリズムは一般単調ケースおよび擬似単調性仮定下の変分不等式設定において収束を達成した。
• 双線形サドルポイント問題において、数値的性能が向上し、慣性パラメータと緩和パラメータの間で収束速度と安定性に顕著な相互作用が観察された。
• 重みクリッピングを用いたWGAN目的関数に基づくCIFAR10におけるGAN学習では、IFBF Adam変種がインセプションスコア4.59 ± 0.04、FID 45.25 ± 0.60を達成し、ExtraAdam（IS: 4.07 ± 0.05、FID: 56.67 ± 0.61）を上回った。
• IFBF Adam手法は、比較対象のすべての手法の中で最高の結果を達成し、Adamの組み込みモーメンタムとは別に慣性効果が追加の利点をもたらすことを示した。
• GANのサドルポイント性を捉えるように設計されたアルゴリズムは、非凸設定においても標準的な最適化手法を著しく上回ることが示唆された。
• GAN学習におけるRIFBFの実験的成果は、理論的収束主張を裏付けるものであり、本手法が決定的・単調な設定でのみ証明されたことにもかかわらず、その妥当性を示している。