[논문 리뷰] Convergence Analysis of Alternating Nonconvex Projections.

Zhihui Zhu, Xiao Li|arXiv (Cornell University)|2018. 02. 12.

Sparse and Compressive Sensing Techniques인용 수 4

한 줄 요약

이 논문은 케르디카-로자예브스키(Kurdyka-Lojasiewicz, KL) 성질과 집합의 기하적 성질—특히 삼점 성질과 국소 수축성—을 활용하여 비볼록 교차 프로젝션에 대한 새로운 수렴 분석 프레임워크를 제안한다. 이를 통해 임계점으로의 전역 수렴을 입증하고, KL 지수에 따라 수렴 속도를 도출한다. 이 프레임워크는 볼록 집합에 대해 선형 수렴을 복원하며, 압축 감지 및 희소 표현 분야에서 중요한 응용인 구조적 타이트 프레임 설계에 대해 새로운 수렴 결과를 확립한다.

ABSTRACT

We consider the convergence properties for alternating projection algorithm (a.k.a alternating projections) which has been widely utilized to solve many practical problems in machine learning, signal and image processing, communication and statistics. In this paper, we formalize two properties of proper, lower semi-continuous and semi-algebraic sets: the three point property for all possible iterates and the local contraction prop- erty that serves as the non-expensiveness property of the projector, but only for the iterates that are closed enough to each other. Then by exploiting the geometric properties of the objective function around its critical point,i.e. the Kurdyka-Lojasiewicz(KL)property, we establish a new convergence analysis framework to show that if one set satisfies the three point property and the other one obeys the local contraction property, the iterates generated by alternating projections is a convergent sequence and converges to a critical point. We complete this study by providing convergence rate which depends on the explicit expression of the KL exponent. As a byproduct, we use our new analysis framework to recover the linear convergence rate of alternating projections onto closed convex sets. To illustrate the power of our new framework, we provide new convergence result for a class of concrete applications: alternating projections for designing structured tight frames that are widely used in sparse representation, compressed sensing and communication. We believe that our new analysis framework can be applied to guarantee the convergence of alternating projections when utilized for many other nonconvex and nonsmooth sets.

연구 동기 및 목표

• 비볼록, 비연속, 그리고 준대수적 집합에 대한 교차 프로젝션에 대한 일반적인 수렴 프레임워크를 수립하기 위해.
• 특히 집합이 볼록적이거나 미분 가능하지 않은 비볼록 설정에서 교차 프로젝션의 수렴 보장이 부족한 문제를 해결하기 위해.
• 목적 함수의 명시적 KL 지수에 기반하여 수렴 속도를 특성화하기 위해.
• 통일된 비볼록 프레임워크를 통해 기존 볼록 집합에 대한 선형 수렴 결과를 복원하고 확장하기 위해.
• 압축 감지 및 희소 표현 분야에서 중요한 응용인 구조적 타이트 프레임 설계와 같은 구체적인 비볼록 문제에 프레임워크의 적용 가능성을 입증하기 위해.

제안 방법

• 적절하고 하향 연속적이며 준대수적 집합에 대해 삼점 성질를 정식화하여 반복값 간 기하학적 일관성을 보장한다.
• 반복값이 서로 충분히 가까이 있을 경우에만 성립하는 비확장성 조건으로서 국소 수축 성질을 도입한다.
• 임계점 근처의 목적 함수 국소 기하학을 활용하기 위해 케르디카-로자예브스키(Kurdyka-Lojasiewicz, KL) 부등식을 활용한다.
• 삼점 성질과 국소 수축 성질을 KL 성질과 조합하여 반복값이 임계점으로 전역 수렴함을 증명한다.
• KL 지수에 따라 수렴 속도를 명시적으로 도출하여 수렴 속도의 정량적 경계를 제공한다.
• 구조적 타이트 프레임 설계와 같은 실제 응용에 프레임워크를 적용하여 비볼록 설정에서 새로운 수렴 결과를 확립한다.

실험 결과

연구 질문

• RQ1 비볼록 집합에 대해 어떤 기하학적 조건이 존재할 경우 교차 프로젝션 방법이 임계점으로 수렴하는가?
• RQ2 비볼록, 비연속 최적화 문제의 수렴 분석에서 케르디카-로자예브스키(Kurdyka-Lojasiewicz, KL) 성질은 어떻게 활용될 수 있는가?
• RQ3 삼점 성질과 국소 수축 성질은 교차 프로젝션의 수렴을 보장하는 데 어떤 역할을 하는가?
• RQ4 제안된 프레임워크는 볼록 집합에 대한 기존의 선형 수렴 속도를 복원할 수 있는가?
• RQ5 구조적 타이트 프레임 설계와 같은 비볼록 응용에 대해 어떤 수렴 속도를 확립할 수 있는가?

주요 결과

• 한 집합이 삼점 성질을 만족하고 다른 집합이 국소 수축 성질을 만족할 경우, 교차 프로젝션 수열은 전역적으로 임계점으로 수렴한다.
• 수렴 속도는 KL 지수에 의해 명시적으로 결정되며, 더 큰 지수일수록 더 빠른 수렴을 보인다.
• 이 프레임워크는 닫힌 볼록 집합에 대한 기존의 선형 수렴 속도 결과를 복원한다.
• 압축 감지 및 희소 표현 분야에서 중요한 응용인 구조적 타이트 프레임 설계 문제에 대해 새로운 수렴 결과가 확립된다.
• 이 프레임워크는 비볼록, 준대수적, 비연속 집합에 대한 교차 프로젝션 수렴 분석을 위한 일반적인 도구를 제공한다.
• 이 분석은 고려된 특정 응용 외에도 광범위하게 비볼록 및 비연속 문제에 적용 가능하며, 향후 수렴 보장의 기초를 제공한다.