[논문 리뷰] A Relaxed Inertial Forward-Backward-Forward Algorithm for Solving Monotone Inclusions with Application to GANs

Radu Ioan Boţ, Michael Sedlmayer외 1명|arXiv (Cornell University)|2020. 03. 17.

Optimization and Variational Analysis참고 문헌 32인용 수 18

한 줄 요약

이 논문은 최대 미분 가능한 연산자와 단조적, 리프시츠 연속 연산자를 포함하는 단조 포함 문제를 해결하기 위해 이완된 관성 전진-역행-전진(RIFBF) 알고리즘을 제안한다. 두 번째 순서 동역학 시스템의 명시적 시간 이산화를 통해 관성 효과와 이완 매개수를 결합함으로써, 단조 및 의사-단조 변분부등식 설정에서 수렴성을 확보하며, 생성적 적대적 네트워크(GANs) 학습에서 기준 방법을 능가하는 성능을 보이며, 인ception 스코어와 프리셰트 인셉션 거리(Fréchet inception distance)에서 뛰어난 결과를 얻는다.

ABSTRACT

We introduce a relaxed inertial forward-backward-forward (RIFBF) splitting algorithm for approaching the set of zeros of the sum of a maximally monotone operator and a single-valued monotone and Lipschitz continuous operator. This work aims to extend Tseng's forward-backward-forward method by both using inertial effects as well as relaxation parameters. We formulate first a second order dynamical system which approaches the solution set of the monotone inclusion problem to be solved and provide an asymptotic analysis for its trajectories. We provide for RIFBF, which follows by explicit time discretization, a convergence analysis in the general monotone case as well as when applied to the solving of pseudo-monotone variational inequalities. We illustrate the proposed method by applications to a bilinear saddle point problem, in the context of which we also emphasize the interplay between the inertial and the relaxation parameters, and to the training of Generative Adversarial Networks (GANs).

연구 동기 및 목표

• 관성 효과와 이완 매개수를 결합한 새로운 알고리즘을 개발하여 단조 포함 문제를 해결하는 것.
• 관성과 이완을 통합함으로써 향상된 수렴성과 수치적 안정성을 확보하기 위해 Tseng의 전진-역행-전진 방법을 확장하는 것.
• 일반 단조 및 의사-단조 변분부등식 설정에서 RIFBF 알고리즘의 수렴 분석을 제공하는 것.
• 이중선형 사다리꼴 문제에 대해 방법을 적용하고 관성 및 이완 매개수 간의 상호작용을 보여주는 것.
• RIFBF 알고리즘을 GAN 학습에 적용하여 ExtraAdam 및 PDSP와 같은 기존 방법과의 성능를 비교하는 것.

제안 방법

• 방법은 관성 및 이완 항을 포함하는 두 번째 순서 동역학 시스템의 명시적 시간 이산화로부터 유도된다.
• 알고리즘은 이완 및 관성 매개수를 포함한 전진-역행-전진 체계를 사용하여 반복 수열을 갱신한다.
• 핵심 구성 요소로는 최대 미분 가능 연산자의 해석과 리프시츠 연속 연산자에 대한 전진 단계가 포함된다.
• 관성 항은 이전 반복 수열의 기억을 활용하여 수렴 속도를 가속화하고, 이완 매개수는 수치적 안정성을 향상시킨다.
• 스토케스틱 그래디언트를 위한 Adam 최적화기와 함께 가중치 클리핑을 사용한 WGAN 목표 함수를 사용하여 GAN 학습에 적용된다.
• 관성 효과를 포함한 변종(IFBF)이 테스트되었으며, 관성 매개수 α를 조정하여 성능 향상을 도모했다.

실험 결과

연구 질문

• RQ1 전진-역행-전진 프레임워크에 관성 효과와 이완 매개수를 포함시키면 단조 포함 문제의 수렴성과 안정성 향상에 기여하는가?
• RQ2 RIFBF 알고리즘이 일반 단조성 가정, 특히 의사-단조성 조건 하에서도 수렴하는가?
• RQ3 실제로 관성 및 이완 매개수는 어떻게 상호작용하며, 수치 성능에 어떤 영향을 미치는가?
• RQ4 RIFBF 방법은 기존 알고리즘을 능가하여 GAN 학습에서 성능을 높일 수 있는가, 특히 인ception 스코어와 프리셰트 인셉션 거리 측면에서?
• RQ5 정규 단조 케이스에서 RIFBF의 이론적 수렴 보장이 실질적인 비볼록, 비경계 GAN 학습으로까지 일반화 가능한가?

주요 결과

• RIFBF 알고리즘은 일반 단조 케이스와 의사-단조성 가정 하의 변분부등식 설정에서 수렴성을 확보한다.
• 이중선형 사다리꼴 문제에서 수치 성능 향상이 나타났으며, 관성 및 이완 매개수 간의 상호작용이 수렴 속도와 안정성에 뚜렷한 영향을 미쳤다.
• 가중치 클리핑을 사용한 WGAN 목표 함수를 적용한 CIFAR10에서의 GAN 학습에서, IFBF Adam 변종은 인ception 스코어 4.59 ± 0.04와 FID 45.25 ± 0.60을 기록하여 기준 방법인 ExtraAdam(IS: 4.07 ± 0.05, FID: 56.67 ± 0.61)을 능가했다.
• IFBF Adam 방법은 비교된 모든 방법 중 최고의 성능를 기록했으며, 이는 관성 효과가 Adam의 내재된 모멘텀과 조합되어도 추가적인 이점을 제공함을 시사한다.
• GAN의 사다리꼴 성격을 반영하도록 설계된 알고리즘은 비볼록 설정에서도 표준 최적화 방법을 크게 능가할 수 있음을 시사한다.
• RIFBF가 GAN 학습에서의 경험적 성공은 이론적 수렴 성과와 일치하며, 이는 방법이 정규 단조 설정에서만 증명되었음에도 불구하고 성립함을 뒷받침한다.