[논문 리뷰] Quantitative Strong Convergence for the Hybrid Steepest Descent Method

Daniel Körnlein|arXiv (Cornell University)|2016. 10. 03.

Optimization and Variational Analysis참고 문헌 13인용 수 3

한 줄 요약

이 논문은 힐버트 공간 내에서 변분부등식 문제를 해결하기 위한 하이브리드 스티펜트 디센트 방법(HSDM)에 대한 첫 번째 정량적 분석을 제공하며, 증명-미닝 기법을 사용하여 안정성률과 복잡도 상한을 추출한다. 단일 및 유한한 비확장 맵핑의 가족에 대해 명시적인 수렴률을 포함한 강수렴을 확립하며, 수렴의 균일성에 대한 효과적인 상한을 제공한다.

ABSTRACT

We provide new complexity information for the convergence of the Hybrid Steepest Descent Method for solving the Variational Inequality Problem for a strict contraction on Hilbert space over a closed convex set C given either as the fixed point set of a single nonexpansive mapping or the intersection of the fixed point sets of a finite family of nonexpansive mappings. More precisely, we give metastability rates in the sense of Tao for those cases. The results in this paper were extracted from a proof due to Yamada using proof-mining techniques, and provide a thorough quantitative analysis of the Hybrid Steepest Descent Method.

연구 동기 및 목표

• 힐버트 공간 내에서 변분부등식 문제(VIP)를 해결하기 위한 하이브리드 스티펜트 디센트 방법(HSDM)에 대한 정량적 분석을 제공한다.
• 타오의 의미에서의 메타안정성률—정량적 수렴 정보—을 HSDM에 대해 엄격한 수축과 강한 단조성 조건 하에서 추출한다.
• 해결 집합이 단일 비확장 맵핑의 고정점 집합인 경우와, 유한한 비확장 맵핑 가족의 고정점 집합의 교집합인 경우의 두 경우를 분석한다.
• 증명이론적 기법을 사용하여 야마다의 정성적 수렴 증명을 변환함으로써 HSDM에 대한 복잡도 정보를 제공한다.
• 해결 집합에 대한 폐형 프로젝션을 요구하지 않는 명시적이고 계산 가능한 수렴률을 제공함으로써 HSDM의 적용 가능성을 확장한다.

제안 방법

• 이 방법은 야마다의 HSDM에 대한 강수렴 증명에 증명-미닝 기법을 적용하여, 비균일 수렴을 균일한 메타안정성 상한으로 변환한다.
• 비확장 맵핑 T와 $ \kappa $-립시츠 및 $ \eta $-강단조성인 $ \mathcal{F} $를 갖는 HSDM 반복 수열 $ u_{n+1} := T(u_n) - \lambda_{n+1}\mu\mathcal{F}(T(u_n)) $에 대해 명시적인 메타안정성률을 도출한다.
• 유한한 가족의 경우 반복식은 $ u_{n+1} := T_{[n+1]}(u_n) - \lambda_{n+1}\mu\mathcal{F}(T_{[n+1]}(u_n)) $이며, $ [n] = n \mod N $이며, 수렴은 합계 조건과 점점 줄어드는 스텝 크기 조건 하에서 분석된다.
• 분석은 비확장 맵핑의 고정점 성질과 $ \mathcal{F} $의 강단조성에 기반하여 해결 집합까지의 거리를 유한하게 제어하며, 오차 항에 대한 명시적 제어를 포함한다.
• 결과로 도출된 상한은 $ \varepsilon $, $ \kappa $, $ \eta $ 및 해결 집합까지의 초기 거리에 대한 함수로 표현되며, 계산 가능한 메타안정성 모듈러스를 제공한다.
• 이 방법은 임의의 $ \varepsilon > 0 $에 대해, 모든 $ m,n \geq N $에 대해 $ \|u_n - u_m\| < \varepsilon $를 만족하는 균일한 $ N $이 존재하도록 보장하며, $ N $은 문제 매개변수로부터 효과적으로 계산 가능하다.

실험 결과

연구 질문

• RQ1 힐버트 공간 내에서 변분부등식 문제를 해결할 때 하이브리드 스티펜트 디센트 방법(HSDM)의 정량적 수렴 속도는 무엇인가?
• RQ2 증명-미닝 기법을 사용하여 HSDM의 강수렴 증명에서 메타안정성률을 어떻게 추출할 수 있는가?
• RQ3 해결 집합에 대한 가정에 따라 HSDM이 $ \varepsilon $-정확도에 도달하기 위해 필요한 반복 수의 효과적 상한은 무엇인가?
• RQ4 단일 비확장 맵핑의 경우와 유한한 교집합의 경우 수렴 속도는 어떻게 다름을 보이는가?
• RQ5 해결 집합에 대한 명시적 프로젝션을 요구하지 않고도 HSDM을 정량적으로 분석할 수 있는가?

주요 결과

• 이 논문은 하이브리드 스티펜트 디센트 방법(HSDM)에 대해 첫 번째로 명시적인 메타안정성률을 제공하며, 임의의 $ \varepsilon > 0 $에 대해 $ \|u_n - u_m\| < \varepsilon $를 만족하는 $ N $이 존재하도록 보장하며, $ N $은 문제 매개변수로부터 계산 가능하다.
• 단일 비확장 맵핑의 경우, 조건 $ \lambda_n \to 0 $, $ \sum \lambda_n = \infty $, 및 $ \frac{\lambda_n - \lambda_{n+1}}{\lambda_n^2} \to 0 $ 하에서 수렴 속도가 정량화되며, 계산 가능한 메타안정성 모듈러스를 도출한다.
• 유한한 가족의 경우($ N \geq 1 $), $ \lambda_n = 1/n $을 허용하며, 수렴 속도는 다시 한번 메타안정성 모듈러스를 통해 정량화되며, 이는 이전 결과를 향상시킨다.
• 분석은 해결 집합에 대한 프로젝션을 제공하지 않더라도 HSDM이 비확장 맵핑에 의존하여 강수렴을 보이며 효과적인 상한을 갖는다는 것을 보여준다.
• 수렴 속도는 강단조성 상수 $ \eta $, 리프시츠 상수 $ \kappa $, 그리고 해결 집합까지의 초기 거리에 명시적으로 의존하며, $ \varepsilon $, $ \tau = 1 - \sqrt{1 - \mu(2\eta - \mu\kappa^2)} $, 그리고 초기 궤도의 직경에 대한 명시적 의존성이 있다.
• 논문은 HSDM이 약한 가정 하에서도 강건함을 입증한다: 해결 집합이 유계가 아니더라도, 고정점까지의 초기 거리에 대한 온건한 제약 조건 하에서는 수렴 속도를 도출할 수 있다.