[논문 리뷰] The Forward-Backward-Forward Method from discrete and continuous perspective for pseudo-monotone variational inequalities in Hilbert Spaces

Radu Ioan Boţ, Ernö Robert Csetnek외 1명|arXiv (Cornell University)|2018. 08. 24.

Optimization and Variational Analysis인용 수 16

한 줄 요약

이 논문은 힐버트 공간에서 의사단조성 변분부등식에 대해 셴의 전진-후진-전진 알고리즘의 수렴성을 확립하며, 강한 의사단조성 조건 하에서 선형 수렴성을 증명한다. 또한 연속 동역학계 버전을 제안하고 수치 실험을 통해 코르페레비치의 추가경사법보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Tseng's forward-backward-forward algorithm is a valuable alternative for Korpelevich's extragradient method when solving variational inequalities over a convex and closed set governed by monotone and Lipschitz continuous operators, as it requires in every step only one projection operation. However, it is well-known that Korpelevich's method is provable convergent and thus applicable when solving variational inequalities governed by a pseudo-monotone and Lipschitz continuous operator. In this paper we prove that Tseng's method converges also when it is applied to the solving of pseudo-monotone variational inequalities. In addition, we show that linear convergence is guaranteed under strong pseudo-monotonicity. We also associate a dynamical system to the pseudo-monotone variational inequality and carry out an asymptotic analysis for the generated trajectories. Numerical experiments show that Tseng's method outperforms Korplelevich's extragradient method when applied to the solving of pseudo-monotone variational inequalities and fractional programming problems.

연구 동기 및 목표

• 단조성에서 초월하여 의사단조성 변분부등식으로까지 셴의 전진-후진-전진 알고리즘의 적용 가능성을 확장하는 것.
• 힐버트 공간에서 의사단조성 변분부등식을 풀이할 때 셴의 방법에 대한 수렴 보장을 수립하는 것.
• 의사단조성 변분부등식과 관련된 연속시간 동역학계의 점진적 행동을 분석하는 것.
• 의사단조성 문제와 분수형 프로그래밍을 해결할 때 셴의 방법과 코르페레비치의 추가경사법 간의 성능을 비교하는 것.
• 의사단조성 설정에서 셴의 방법이 실용적이고 효율적인 대안임을 이론적 및 수치적 근거로 제시하는 것.

제안 방법

• 논문은 힐버트 공간에서 의사단조성 및 리프시츠 연속 연산자를 갖는 변분부등식에 대해 셴의 전진-후진-전진 알고리즘을 분석한다.
• 의사단조성 및 리프시츠 연속성 조건 하에서 알고리즘의 수렴성을 증명하며, 이를 단조성 연산자에 한정하지 않고 확장한다.
• 강한 의사단조성 조건 하에서 선형 수렴성을 확립한다.
• 변분부등식과 관련된 연속 동역학계를 정의하고, 그 궤적의 점진적 행동을 분석한다.
• 알고리즘은 전진 단계와 후진 투영을 포함하는 세 단계 반복 체계에 기반하며, 반복당 계산 비용을 최소화한다.
• 의사단조성 변분부등식과 분수형 프로그래밍 문제에 대한 수치 실험을 수행하여 성능을 비교한다.

실험 결과

연구 질문

• RQ1 의사단조성 변분부등식에 대해 셴의 전진-후진-전진 알고리즘이 수렴하는가?
• RQ2 어떤 조건에서 알고리즘이 선형 수렴을 달성하는가?
• RQ3 의사단조성 변분부등식과 관련된 연속 동역학계를 정의할 수 있으며, 그 궤적의 점진적 행동은 어떠한가?
• RQ4 의사단조성 문제를 해결할 때 셴의 방법은 코르페레비치의 추가경사법보다 성능이 뛰어나다 할 수 있는가?
• RQ5 분수형 프로그래밍 문제에 대해 셴의 방법은 효과적인가? (이를 의사단조성 변분부등식으로 재구성할 수 있음)

주요 결과

• 셸의 전진-후진-전진 알고리즘이 힐버트 공간에서 의사단조성 변분부등식에 대해 수렴함을 입증하며, 단조성 설정을 초월한 이론적 타당성을 확장한다.
• 연산자가 강한 의사단조성일 경우 선형 수렴성이 보장되어 더 강한 가정 하에서 더 빠른 수렴 속도를 제공한다.
• 관련된 연속 동역학계는 변분부등식의 해로 점차 수렴하는 경향을 보이며, 궤적 흐름의 안정성을 확인한다.
• 수치 실험 결과 셴의 방법이 의사단조성 변분부등식을 해결할 때 코르페레비치의 추가경사법보다 뛰어난 성능을 보임을 확인한다.
• 분수형 프로그래밍 문제에 대해서도 동일한 문제에 대해 더 뛰어난 성능을 보이며, 이는 의사단조성 변분부등식으로 재구성 가능하다.
• 알고리즘은 반복당 한 번의 투영만 요구하므로 계산 효율성이 유지되어 대규모 문제에 실용적이다.