[논문 리뷰] Quasinonexpansive Iterations on the Affine Hull of Orbits: From Mann's Mean Value Algorithm to Inertial Methods

Patrick L. Combettes, Lilian E. Glaudin|arXiv (Cornell University)|2017. 04. 11.

Optimization and Variational Analysis참고 문헌 24인용 수 15

한 줄 요약

이 논문은 과거 반복점들의 애핀 폴드 위에 있는 점들에 쿼asi-nonexpansive 연산자를 적용하여 반복 알고리즘을 위한 통합 고정점 프레임워크를 제안한다. 이는 맨의 평균값 방법, 관성 방법, 다중층 메모리리스 구조를 일반화한다. 주요 기여는 넓은 조건 하에서 고정점으로의 약한 수렴을 보장하는 수렴 분석을 제공함으로써, 단조 포함 문제와 비미분 최소화 문제를 위한 새로운 알고리즘을 가능하게 한다.

ABSTRACT

Fixed point iterations play a central role in the design and the analysis of a large number of optimization algorithms. We study a new iterative scheme in which the update is obtained by applying a composition of quasinonexpansive operators to a point in the affine hull of the orbit generated up to the current iterate. This investigation unifies several algorithmic constructs, including Mann's mean value method, inertial methods, and multi-layer memoryless methods. It also provides a framework for the development of new algorithms, such as those we propose for solving monotone inclusion and minimization problems.

연구 동기 및 목표

• 최적화 분야에서 세 가지 주요 알고리즘 프레임워크인 맨의 평균값 반복, 관성 방법, 다중층 메모리리스 구조를 통합하기 위해.
• 과거 반복점의 볼록 조합에 쿼اسي-nonexpansive 연산자를 적용하여 업데이트가 이루어지는 일반적인 반복 체계를 개발하기 위해.
• 실 힐버트 공간에서 고정점 반복의 맥락에서 이 프레임워크의 수렴 보장을 수립하기 위해.
• 단조 포함 문제와 비미분 볼록 최소화 문제를 해결하기 위한 새로운 알고리즘을 구성하는 기초를 제공하기 위해.
• 폴리악의 하향 기울기 투영 방법과 같은 기존 결과를 더 넓은 수렴 이론에 통합함으로써 일반화하기 위해.

제안 방법

• 제안된 방법은 $x_n$의 수열을 $x_{n+1} = T_n \bar{x}_n$ 방식으로 갱신하며, $\bar{x}_n$은 $0 \leq j \leq n$ 범위의 과거 반복점 $x_j$의 볼록 조합으로, 궤도의 애핀 폴드 위에 존재한다.
• 각 연산자 $T_n$은 쿼اسي-nonexpansive이므로 고정점까지의 거리가 사상에 의해 증가하지 않는다.
• 이중층 구조를 통해 관성 항이 통합된다: $\bar{x}_n = (1+\eta_n)x_n - \eta_n x_{n-1}$, 이는 운동량 유사 가속화를 가능하게 한다.
• 변수 매개변수와 오차 항을 允허함으로써 프로젝션 스킴과 페시먼-래크포드 분할 방법을 일반화한다.
• 수렴은 평균 가중치 $\mu_{n,j}$, 이완 매개변수 $\lambda_n$, 관성 매개변수 $\eta_n$에 대한 조건 하에서 분석되며, 고정점으로의 약한 수렴을 보장한다.
• 분석은 평균화 및 단단히 쿼اسي-nonexpansive 연산자의 성질을 활용하며, 특히 프록시미티 연산자와 하향 기울기 투영자도 사용한다.

실험 결과

연구 질문

• RQ1 맨의 평균값 방법, 관성 방법, 다중층 메모리리스 구조는 단일 반복 프레임워크 아래 통합될 수 있는가?
• RQ2 평균 가중치와 이완 매개변수에 어떤 조건이 성립하면 반복점이 고정점으로 약하게 수렴하는가?
• RQ3 제안된 프레임워크는 어떻게 단조 포함 문제와 비미분 최소화 문제를 위한 새로운 알고리즘을 유도하는가?
• RQ4 과거 반복점의 애핀 폴드를 사용하는 것이 표준 메모리리스 구조에 비해 수렴 행동을 어떻게 향상시키는가?
• RQ5 클래식한 결과인 폴리악의 하향 기울기 투영 방법은 이 새로운 프레임워크 내에서 복원되고 확장될 수 있는가?

주요 결과

• 매개변수와 함수의 정규성에 대한 온건한 조건 하에서, 제안된 알고리즘은 고정점 $x \in \text{Argmin}_C f$로의 약한 수렴 $x_n \rightharpoonup x$를 보장한다.
• 만약 $\lambda_n \equiv 1$이라면, 이 방법은 폴리악의 고전적 하향 기울기 투영 방법을 특수 케이스로 복원하며, 기존 결과와의 일관성을 검증한다.
• 이 프레임워크는 변수 이완 매개변수를 允허하고 볼록 집합 위의 제약 최소화로 확장함으로써 관성 프록시멀 점프 알고리즘을 일반화한다.
• 목적 함수가 강凸이 아니어도, 하향 기울기 투영자가 단단히 쿼اسي-nonexpansive 이고 오차 항이 소멸하는 한 수렴이 보장된다.
• 수렴 증명은 $\text{Id} - G$의 반연속성(약한 닫힘성)에 기반하며, 이는 초강력성 또는 유한 차원성 조건 하에서 성립하여 고정점 식별을 보장한다.
• 강凸성 또는 기울기의 리프시츠 연속성 조건을 요구하지 않아도 수렴이 달성되므로, 비미분 및 비리프시츠 문제에 대한 적용 범위가 넓어진다.