[논문 리뷰] Halpern Iteration for Near-Optimal and Parameter-Free Monotone Inclusion and Strong Solutions to Variational Inequalities

Jelena Diakonikolas|arXiv (Cornell University)|2020. 02. 20.

Optimization and Variational Analysis참고 문헌 32인용 수 4

한 줄 요약

이 논문은 할퍼른 반복를 사용하여 단조 포함 문제와 변분부등식 문제에 대해 최적에 가까운, 매개변수 없는 알고리즘을 제시한다. 이는 로그 인자까지 최적의 수렴 속도를 달성한다. 비압축 사상, 단조 연산자, 그리고 프록시 매핑 간의 관계를 활용하여 날카운 반복 복잡도 한계를 확립하고, 환원과 하한을 통한 최적성 증명을 수행한다.

ABSTRACT

We leverage the connections between nonexpansive maps, monotone Lipschitz operators, and proximal mappings to obtain near-optimal (i.e., optimal up to poly-log factors in terms of iteration complexity) and parameter-free methods for solving monotone inclusion problems. These results immediately translate into near-optimal guarantees for approximating strong solutions to variational inequality problems, approximating convex-concave min-max optimization problems, and minimizing the norm of the gradient in min-max optimization problems. Our analysis is based on a novel and simple potential-based proof of convergence of Halpern iteration, a classical iteration for finding fixed points of nonexpansive maps. Additionally, we provide a series of algorithmic reductions that highlight connections between different problem classes and lead to lower bounds that certify near-optimality of the studied methods.

연구 동기 및 목표

• 리프시츠 연속 연산자를 갖는 단조 포함 문제를 해결하기 위한 매개변수 없는, 최적에 가까운 알고리즘을 개발한다.
• 할퍼른 반복를 통해 변분부등식과 최소-최대 최적화 문제의 날카운 반복 복잡도 한계를 설정한다.
• 오рак루 모델에서의 알고리즘 환원과 하한을 통한 증명을 통해 제안된 방법의 최적성을 입증한다.
• 단조 포함, 비압축 사상의 고정점, 그리고 프록시-포인트 방법 간의 관계를 명확히 한다.
• 다양한 연산자 조건 하에서 단조 포함 문제의 상한과 하한 간 격차를 해소한다.

제안 방법

• 핵심 알고리즘 프레임워크로 할퍼른 반복를 사용한다: $\mathbf{u}_{k+1} = \lambda_{k+1}\mathbf{u}_0 + (1 - \lambda_{k+1})T(\mathbf{u}_k)$, 여기서 $T$ 는 비압축 사상이다.
• 할퍼른 반복에 대한 새로운 잠재력 기반 증명을 제안하여 $\ell_2$-노름에서 가장 가까운 고정점을 향해 수렴함을 보장한다.
• 프록시 매핑과 연산자 업스트림을 활용하여 단조 포함 문제를 비압축 사상의 고정점 문제로 환원한다.
• 알고리즘 환원을 적용하여 단조 포함 문제를 변분부등식, 최소-최대 최적화, 기울기 노름 최소화 문제와 연결한다.
• 오라클 모델에서의 하한을 유도하여, 다양한 연산자 클래스 하에서 제안된 방법의 근사 최적성의 정당성을 입증한다.
• 재시작 및 적응형 스텝 사이즈 전략을 사용하여 강한 단조성 및 코코어시브 조건 하에서 최적의 복잡도를 달성한다.

실험 결과

연구 질문

• RQ1 할퍼른 반복는 리프시츠 연산자를 갖는 단조 포함 문제에 대해 최적에 가까운, 매개변수 없는 알고리즘을 도출하기 위해 어떻게 적응시킬 수 있는가?
• RQ2 강한 단조성 $m$, 리프시츠 연속성 $L$, 코코어시브성 $\frac{1}{L}$ 조건 하에서 단조 포함 문제의 최적 반복 복잡도는 무엇인가?
• RQ3 제안된 알고리즘은 기존 방법과 비교해 수렴 보장과 반복 복잡도 측면에서 어떻게 다를까?
• RQ4 오라클 모델에서 제안된 방법의 최적성을 입증하기 위해 날카운 하한을 도출할 수 있는가?
• RQ5 단조 포함, 비압축 사상의 고정점, 프록시-포인트 방법 간의 관계는 무엇인가?

주요 결과

• 제안된 할퍼른 기반 알고리즘은 $L$-리프시츠 연산자에 대해 $O\left(\frac{LD^2}{\epsilon}\log\left(\frac{LD}{\epsilon}\right)\right)$ 반복 복잡도를 달성하며, 로그 인자까지 하한과 일치한다.
• 코코어시브성 $\frac{1}{L}$ 인 경우, 방법은 $O\left(\frac{LD}{\epsilon}\log\left(\frac{LD}{\epsilon}\right)\right)$ 복잡도를 달성하며, $\log(D/\epsilon)$ 인자까지 하한과 일치한다.
• 강한 단조성 $m$ 조건 하에서 재시작 변형은 $O\left(\frac{L}{m}\log\left(\frac{LD}{\epsilon}\right)\log\left(\frac{L}{m}\right)\right)$ 복잡도를 달성하며, 로그 인자까지 하한과 일치한다.
• 논문은 할퍼른 반복가 비압축 사상의 $\ell_2$-가장 가까운 고정점으로 수렴함을 미약한 조건 하에서 증명한다.
• 하한 분석을 통해 제안된 방법이 모든 고려된 설정에서 로그 인자까지 최적임을 입증한다.
• 결과적으로, 변분부등식의 강한 해를 근사하는 데 있어 근사 최적 보장을 제공하며, 최소-최대 최적화에서 기울기 노름 최소화 문제에 대해서도 근사 최적 보장을 암시한다.