[논문 리뷰] Linear convergence of the generalized PPA and several splitting methods for the composite inclusion problem

Li Shen, Shaohua Pan|arXiv (Cornell University)|2015. 08. 21.

Optimization and Variational Analysis참고 문헌 48인용 수 4

한 줄 요약

이 논문은 두 개의 최대단조연산자와 코코ercive 연산자를 포함하는 복합 포함 문제에 대해 일반화된 프록시멀 점 알고리즘(PPA)과 여러 분할 방법—과잉조정된 전진-뒤로 분할, 일반화된 Douglas-Rachford 분할, 그리고 삼연산자 분할—에 대해 선형 수렴성을 확립한다. 핵심 기여는 강한 단조성 조건이 아닌 더 약한 거리 하위정규성 조건 하에서 복합 연산자의 선형 수렴성을 증명한 데 있다. 이는 이전의 가정을 상당히 완화한 것이다.

ABSTRACT

For the inclusion problem involving two maximal monotone operators, under the metric subregularity of the composite operator, we derive the linear convergence of the generalized proximal point algorithm and several splitting algorithms, which include the over-relaxed forward-backward splitting algorithm, the generalized Douglas-Rachford splitting algorithm and Davis' three-operator splitting algorithm. To the best of our knowledge, this linear convergence condition is weaker than the existing ones that almost all require the strong monotonicity of the composite operator. Withal, we give some sufficient conditions to ensure the metric subregularity of the composite operator. At last, the preliminary numerical performances on some toy examples support the theoretical results.

연구 동기 및 목표

• 복합 포함 문제를 해결하는 데 있어 일반화된 PPA 및 인기 있는 분할 알고리즘의 선형 수렴 속도를 확립하기 위해.
• 복합 연산자의 표준 가정인 강한 단조성 조건을 더 일반적인 거리 하위정규성 조건으로 약화하기 위해.
• 해결책에서 복합 연산자에 대한 거리 하위정규성을 보장하는 충분조건을 제공하기 위해.
• 간단한 예제에 대한 예비 수치 실험을 통해 이론적 결과를 검증하기 위해.
• 강한 단조성 설정을 초월해 더 넓은 범위의 볼록 최적화 문제에 분할 방법의 적용 가능성을 확장하기 위해.

제안 방법

• 분석은 해점 (z*, 0)에서 복합 연산자 F = A + B + C의 거리 하위정규성에 기반하며, 이는 일반화된 PPA의 선형 수렴성을 유도함을 보여준다.
• 일반화된 PPA는 포함 문제 0 ∈ F(z)에 적용되며, F의 거리 하위정규성 조건 하에서 수렴성이 증명된다.
• 과잉조정된 전진-뒤로 분할(FBS) 및 일반화된 Douglas-Rachford 분할(DRS)은 동일한 거리 하위정규성 조건 하에서 분석된다.
• Davis와 Yin의 삼연산자 분할 알고리즘도 거리 하위정규성 조건으로 확장되어 선형 수렴성을 보장한다.
• 이론적 결과는 표준 최적화 문제들—예를 들어 ℓ₁/ℓ₁ 및 ℓₚ 정규화—를 복합 포함 문제의 특수한 경우로 재구성함으로써 뒷받침된다.
• ℓ₁/ℓ₁ 및 ℓₚ 정규화 문제에 대한 수치 실험을 통해 알고리즘의 선형 수렴성이 확인되었으며, 이는 이론적 결과를 지지한다.

실험 결과

연구 질문

• RQ1 강한 단조성보다 더 약한 조건 하에서 일반화된 PPA 및 분할 방법의 선형 수렴성을 확립할 수 있는가?
• RQ2 복합 연산자 F의 거리 하위정규성이 이러한 알고리즘의 선형 수렴성에 충분한가?
• RQ3 해결책에서 F의 거리 하위정규성을 보장하는 충분조건는 무엇인가?
• RQ4 ℓ₁/ℓ₁ 및 ℓₚ 정규화와 같은 실용적 문제에서 이러한 알고리즘의 수치적 성능는 어떠한가?
• RQ5 이론적 수렴 결과는 삼연산자 분할 프레임워크로 확장될 수 있는가?

주요 결과

• 복합 연산자 F의 거리 하위정규성 조건 하에서 일반화된 PPA의 선형 수렴성이 확립되었으며, 이는 강한 단조성 조건보다 엄밀히 더 약한 조건이다.
• F가 해점에서 거리 하위정규성일 경우, 과잉조정된 전진-뒤로 분할(FBS) 알고리즘이 선형 수렴성을 보인다.
• 동일한 거리 하위정규성 가정 하에서 일반화된 Douglas-Rachford 분할(DRS) 알고리즘이 선형 수렴성을 보인다.
• Davis와 Yin의 삼연산자 분할 알고리즘 역시 F의 거리 하위정규성 조건 하에서 선형 수렴성을 나타낸다.
• ℓ₁/ℓ₁ 및 ℓₚ 정규화 문제에 대한 수치 결과는 일반화된 DRS 및 과잉조정된 FBS 알고리즘의 선형 수렴성을 확인하며, 이론적 결과를 지지한다.
• F의 거리 하위정규성에 대한 충분조건가 제공되었으며, 이는 연산자가 다각형이거나 특정 구조를 지닐 경우를 포함한다.