[논문 리뷰] Convergence Analysis of Alternating Projection Method for Nonconvex Sets

Zhihui Zhu, Xiao Li|arXiv (Cornell University)|2018. 02. 12.

Sparse and Compressive Sensing Techniques참고 문헌 52인용 수 6

한 줄 요약

이 논문은 비볼록 집합에 대한 교차 투영 방법의 수렴성을 입증하기 위해 반대칭 다항식, 하부 연속 집합에 대해 삼점 성질과 국소 수축 성질을 도입한다. 쿠르디카-로자예프스키 (KL) 부등식을 활용하여 임계점으로의 전역 수렴을 증명하고, KL 지수에 따라 수렴 속도를 도출하며, 볼록 집합의 경우 선형 수렴을 복원하고 구조적 타이트 프레임 설계에 대해 새로운 결과를 확립한다.

ABSTRACT

Alternating projection method has been used in a wide range of engineering applications since it is a gradient-free method (without requiring tuning the step size) and usually has fast speed of convergence. In this paper, we formalize two properties of proper, lower semi-continuous and semi-algebraic sets: the three-point property for all possible iterates and the local contraction property that serves as the non-expensiveness property of the projector but only for the iterates that are close enough to each other. Then by exploiting the geometric properties of the objective function around its critical point, i.e. the Kurdyka-Ł{ojasiewicz} (KL) property, we establish a new convergence analysis framework to show that if one set satisfies the three-point property and the other one obeys the local contraction property, the iterates generated by alternating projection method is a convergent sequence and converges to a critical point. We complete this study by providing convergence rate which depends on the explicit expression of the KL exponent. As a byproduct, we use our new analysis framework to recover the linear convergence rate of alternating projection method onto closed convex sets. To illustrate the power of our new framework, we provide new convergence result for a class of concrete applications: alternating projection method for designing structured tight frames that are widely used in sparse representation, compressed sensing and communication.

연구 동기 및 목표

• 표준 볼록 분석이 실패하는 비볼록, 반대칭 다항식 집합에 대해 교차 투영의 전역 수렴을 확립하기 위해.
• 수렴이 임계점으로 이르는 기하 조건인 삼점 성질과 국소 수축 성질을 규명하기 위해.
• KL 지수에 따라 수렴 속도를 도출하여 기존 결과를 비볼록 설정으로 확장하기 위해.
• 압축 감지 및 희소 표현에서의 구조적 타이트 프레임 설계와 같은 구체적 응용에 신규 프레임워크를 적용하기 위해.
• 유일한 투영에 의존하는 기존 결과를 국소 투영의 안정성으로 대체함으로써 기존 수렴 보장을 통합하고 강화하기 위해.

제안 방법

• 삼점 성질 도입: 임의의 세 개의 반복값에 대해, 해 집합으로의 거리가 목적 함수를 포함하는 기하 부등식을 만족함.
• 국소 수축 성질 정의: 근처에서 투영자가 비확장성 성질을 가지며, 입력의 작은 변화가 출력의 작은 변화를 유도함.
• 임계점 근처에서 목적 함수의 감쇠를 제어하기 위해 쿠르디카-로자예프스키 (KL) 부등식 활용.
• KL 성질과 삼점, 국소 수축 성질을 결합하여 수열의 변동성을 제한함으로써 수렴을 확립.
• KL 지수 θ를 목적 함수 감쇠율과 연관지켜 수렴 속도를 유도하며, 특정 경우에 대해 θ의 명시적 표현을 도출.
• 기하 성질이 요구되는 기초 집합에서의 성질 검증을 통해 구조적 타이트 프레임 설계에 프레임워크 적용.

실험 결과

연구 질문

• RQ1 비볼록, 반대칭 다항식 집합에 대해 교차 투영 방법이 임계점으로 수렴하는 기하 조건은 무엇인가?
• RQ2 표준 볼록성 가정이 실패할 경우 쿠르디카-로자예프스키 (KL) 부등식은 어떻게 활용되어 수렴을 증명할 수 있는가?
• RQ3 KL 지수와 비볼록 집합에 대한 교차 투영의 수렴 속도 사이의 관계는 무엇인가?
• RQ4 제안된 프레임워크는 볼록 집합에 대한 알려진 선형 수렴 결과를 복원할 수 있으며, 어떤 조건에서 그러한 복원이 가능한가?
• RQ5 이 프레임워크는 신호 처리 분야에서의 구조적 타이트 프레임 설계와 같은 실용적 응용으로 확장 가능한가?

주요 결과

• 한 집합이 삼점 성질을 만족하고 다른 집합이 국소 수축 성질을 만족하면, 교차 투영 방법은 전역적으로 임계점으로 수렴한다.
• 수렴 속도는 KL 지수 θ로 정량화되며, θ ∈ (0, 1/2)일 경우 선형 수렴이 발생하고, θ가 작을수록 더 빠른 수렴 속도를 가진다.
• 이 프레임워크는 닫힌 볼록 집합에서 교차 투영의 알려진 선형 수렴 속도를 복원하여 그 일반성과 타당성을 검증한다.
• 구조적 타이트 프레임 설계의 경우, 새로운 프레임워크 하에서 수렴성이 증명되었으며, 그 경험적 성공에 대한 이론적 기반을 제공한다.
• 기존 연구를 향상시켜, 반복값 간의 거리에 대한 단일 조건만으로 전체 수열 수렴(단지 부분수열 수렴이 아닌)을 보장한다.