[논문 리뷰] Local convergence for alternating and averaged nonconvex projections

Adrian S. Lewis, D. Lüke외 1명|ArXiv.org|2007. 09. 02.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 5

한 줄 요약

이 논문은 강한 정규성 교차 조건 하에서 비볼록 교차 및 평균화된 비볼록 투영 방법의 국소 선형 수렴을 확립하며, 한 쪽 집합이 프록스-정규성 또는 유사 기하 조건을 만족할 경우 수렴 속도가 정규성 모듈러스에 의해 결정됨을 보여준다. 이 결과는 비볼록 설정으로 고전적 수렴 이론을 확장하여 신호 처리 및 최적화 분야의 타당 문제에 실용적 영향을 미친다.

ABSTRACT

The idea of a finite collection of closed sets having "strongly regular intersection" at a given point is crucial in variational analysis. We show that this central theoretical tool also has striking algorithmic consequences. Specifically, we consider the case of two sets, one of which we assume to be suitably "regular" (special cases being convex sets, smooth manifolds, or feasible regions satisfying the Mangasarian-Fromovitz constraint qualification). We then prove that von Neumann's method of "alternating projections" converges locally to a point in the intersection, at a linear rate associated with a modulus of regularity. As a consequence, in the case of several arbitrary closed sets having strongly regular intersection at some point, the method of "averaged projections" converges locally at a linear rate to a point in the intersection. Inexact versions of both algorithms also converge linearly.

연구 동기 및 목표

• 집합의 교차가 강하게 정규일 때 비볼록 투영 알고리즘의 국소 선형 수렴을 확립하기 위해.
• 메트릭 정규성과 프록스-정규성의 개념을 사용하여 고전적 수렴 결과를 볼록 설정에서 비볼록 설정으로 확장하기 위해.
• 수렴을 위해 오직 한 쪽 집합만 강한 기하 정규성(예: 볼록, 매끄럽거나 프록스-정규성)을 만족하면 된다는 것을 보여주기 위해.
• 알고리즘의 비정확한 변형도 여전히 선형 수렴함을 보여주어 실용적 적용성을 높이기 위해.
• 평균화된 투영을 통해 정확한 극값 원리의 알고리즘적 증명을 제공하기 위해.

제안 방법

• 바르니에의 교차 투영 방법을 기반으로 하되, 이를 곱공간에서 재구성하여 평균화된 투영을 분석한다.
• 메트릭 정규성과 정규성 모듈러스 개념을 적용하여 수렴 속도를 제한한다.
• 정규 벡터장 정의와 변동 분석 도구를 사용하며 고급 기계 장치에 의존하지 않는다.
• 평균화된 투영 방법을 고차원 공간에서 두 집합에 대한 등가의 교차 투영 계획으로 환원한다.
• 필요한 기하 정규성에 대한 충분조건으로 프록스-정규성과 접근 가능성(amenability)을 사용한다.
• 랜덤 행렬을 사용한 수치 실험을 통해 압축 감지 응용에서의 수렴 행동을 설명한다.

실험 결과

연구 질문

• RQ1 비볼록 타당 문제에 대해 평균화된 투영 방법이 선형 수렴하는 조건은 무엇인가?
• RQ2 두 집합 모두가 볼록 또는 프록스-정규성이 아니더라도 오직 한 쪽 집합만 볼록 또는 프록스-정규성일 경우 국소 선형 수렴이 성립하는가?
• RQ3 비볼록 설정에서 정규성 모듈러스는 수렴 속도와 어떻게 관련되는가?
• RQ4 투영 알고리즘의 비정확한 변형도 여전히 선형 수렴을 달성할 수 있는가?
• RQ5 평균화된 투영 방법은 정확한 극값 원리의 구조적 증명을 제공하는가?

주요 결과

• 닫힌 집합의 교차가 강하게 정규일 경우 평균화된 투영 방법이 국소적으로 선형 수렴하며, 이 수렴 속도는 정규성 모듈러스에 의해 결정된다.
• 오직 한 쪽 집합만 프록스-정규성 또는 제약 조건 충족 조건을 만족하더라도 국소 선형 수렴이 성립하여 적용 범위가 크게 넓어진다.
• 알고리즘의 비정확한 변형도 여전히 선형 수렴하므로 계산 오차에 대해 강건함을 입증한다.
• 수렴 속도는 Q-선형이며, 각 반복에서 오차가 고정된 요소로 감소함을 수치적으로 확인한 압축 감지 예제에서 입증되었다.
• 수치 결과는 f(U_{k+1})/f(U_k) < 0.9627임을 보여주며, 실질적으로 강력한 선형 수렴을 나타낸다.
• 이 방법은 변동 분석에서 정확한 극값 원리의 구조적 알고리즘적 시연을 제공한다.