[논문 리뷰] A semi-proximal-based strictly contractive Peaceman-Rachford splitting method

Yan Gu, Bo Jiang외 1명|arXiv (Cornell University)|2015. 06. 07.

Matrix Theory and Algorithms참고 문헌 22인용 수 26

한 줄 요약

이 논문은 두 개의 서로 다른 가속 인자와 함께 반근접 기반의 стрictly contractive Peaceman-Rachford 분할 방법을 제안하여 유연성과 수렴성을 향상시킨다. 반근접 항을 도입하고, 가속 인자 중 하나는 부족한 결정(1 미만)이고 다른 하나는 1을 초과할 수 있도록 특성화함으로써, 이전 방법보다 더 넓은 조건 하에서 수렴성을 보장한다.

ABSTRACT

The Peaceman-Rachfor d splitting method is very efficient for minimizing sum of two functions each depends on its variable, and the constraint is a linear equality. However, its convergence was not guaranteed without extra requirements. Very recently, He et al. (SIAM J. Optim. 24: 1011 - 1040, 2014) proved the convergence of a strictly contractive Peaceman-Rachfor splitting method by employing a suitable underdetermined relaxation factor. In this paper, we further extend the so-called strictly contractive Peaceman-Rachfor d splitting method by using two different relaxation factors, and to make the method more exible, we introduce semi-proximal terms to the subproblems. We characterize the relation of these two factors, and show that one factor is always underdetermined while the other one is allowed to be larger than 1. Such a exible conditions makes it possible to > >

연구 동기 및 목표

• 선형 등식 제약 조건이 있는 볼록 최적화 문제에서 고전적 Peaceman-Rachford 분할 방법의 수렴 보장 부족 문제를 해결하기 위해.
• 더 높은 유연성을 확보하기 위해 두 개의 서로 다른 가속 인자를 도입하여 엄격한 수축성 Peaceman-Rachford 방법을 확장하기 위해.
• 하위문제에 반근접 항을 도입하여 알고리즘의 안정성과 수렴 행동을 향상시키기 위해.
• 두 가속 인자 간의 관계를 규명하여, 하나의 인자가 1을 초과하더라도 수렴성을 보장할 수 있도록 하기 위해.

제안 방법

• 각 하위문제에 반근접 항을 도입하여 수치적 안정성과 수렴 성질을 향상시킨다.
• 두 개의 서로 다른 가속 인자를 사용한다—하나는 엄격히 부족한 결정(1 미만)이고, 다른 하나는 1을 초과할 수 있다—이를 통해 매개변수 선택의 유연성을 높인다.
• 알고리즘은 반복적으로 가속을 적용한 프록시미티 유사 하위문제를 통해 변수를 갱신하는 분할 방법으로 구성되어 있다.
• 수렴 분석은 신중히 구성된 리아푸노프 함수와 비단조화 선형 탐색 전략의 사용에 기반한다.
• 선형 등식 제약의 구조를 활용하여 온건한 조건 하에서도 전역 수렴을 보장한다.
• 반복 행렬이 엄격히 수축성을 가지도록 가속 인자를 선택함으로써 해에 수렴함을 보장한다.

실험 결과

연구 질문

• RQ1 두 개의 서로 다른 가속 인자를 사용하여 Peaceman-Rachford 분할 방법을 엄격히 수축성으로 만들 수 있는가?
• RQ2 가속 인자 중 하나가 1을 초과할 경우, 두 인자가 어떻게 상호작용하여 수렴성을 보장하는가?
• RQ3 반근접 항은 알고리즘의 안정성과 수렴 조건의 확장을 위해 어떤 역할을 하는가?
• RQ4 한 가속 인자가 1을 초과하더라도 수렴성을 유지할 수 있는가?
• RQ5 수렴을 보장하는 이론적 관계로서 두 가속 인자 간의 관계는 무엇인가?

주요 결과

• 제안된 방법은 선형 등식 제약 조건이 있는 볼록 최적화 문제에 대해 전역 수렴을 달성하며, 한 가속 인자가 1을 초과하더라도 성립한다.
• 반근접 항의 도입으로 알고리즘의 유연성과 수치적 행동이 향상된다.
• 한 가속 인자는 반드시 부족한 결정(1 미만)이어야 하고, 다른 하나는 1을 초과할 수 있어 유효한 매개변수 범위가 확장된다.
• 유도된 조건 하에서 방법은 엄격히 수축적이며, 추가적인 가정 없이도 수렴을 보장한다.
• 향상된 가속 전략 덕분에 표준 Peaceman-Rachford 방법 대비 수렴 속도가 유지되거나 향상된다.