[논문 리뷰] Successive Projection for Solving Systems of Nonlinear Equations/Inequalities

Wenjun Zeng, Jieping Ye|arXiv (Cornell University)|2020. 12. 14.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 5

한 줄 요약

이 논문은 각 방정식 또는 부등식으로 정의된 제약집합에 대해 반복적으로 사영하는 방식으로 대규모 비선형 연립방정식 및 부등식 시스템을 해결하기 위한 새로운 Successive Projection (SP) 프레임워크를 제안한다. 비선형이며 비볼록인 설정에서 SP의 국소 선형 수렴에 대한 첫 이론적 증명을 확립하며, 수렴 속도는 자코비안 행렬의 Hoffman 상수와 연관되어 있으며, 순환 및 무작위 접근 방식을 초월해 수렴 속도를 크게 향상시키는 두 가지 그릅 선택 전략을 포함한 그리디 변형을 제안한다.

ABSTRACT

Solving large-scale systems of nonlinear equations/inequalities is a fundamental problem in computing and optimization. In this paper, we propose a generic successive projection (SP) framework for this problem. The SP sequentially projects the current iterate onto the constraint set corresponding to each nonlinear (in)equality. It extends von Neumann's alternating projection for finding a point in the intersection of two linear subspaces, Bregman's method for finding a common point of convex sets and the Kaczmarz method for solving systems of linear equations to the more general case of multiple nonlinear and nonconvex sets. The existing convergence analyses on randomized Kaczmarz are merely applicable to linear case. There are no theoretical convergence results of the SP for solving nonlinear equations. This paper presents the first proof that the SP locally converges to a solution of nonlinear equations/inequalities at a linear rate. Our work establishes the convergence theory of the SP for the case of multiple nonlinear and nonconvex sets. Besides cyclic and randomized projections, we devise two new greedy projection approaches that significantly accelerate the convergence. Furthermore, the theoretical bounds of the convergence rates are derived. We reveal that the convergence rates are related to the Hoffman constants of the Jacobian matrix of the nonlinear functions at the solution. Applying the SP to solve the graph realization problem, which attracts much attention in theoretical computer science, is discussed.

연구 동기 및 목표

• 최적화, 편미분방정식(PDEs), 신호 처리에서 발생하는 대규모 비선형 연립방정식 및 부등식 시스템을 해결하기 위한 일반적이고 확장 가능한 프레임워크를 개발하기 위해.
• 클래식한 사영 방법인 Kaczmarz 및 von Neumann 방법을 비선형 및 비볼록 케이스로 확장하기 위해.
• 비선형이며 비볼록 설정에서 사영의 반복적 접근에 대한 첫 이론적 수렴 보장을 확립하기 위해.
• 수렴 속도를 향상시키기 위해 제약 조건의 그릅 선택 전략을 사용한 SP의 더 빠른 변형을 설계하기 위해.
• 기하적 성질, 특히 해점에서의 자코비안 행렬의 Hoffman 상수를 통해 수렴 속도를 분석하기 위해.

제안 방법

• SP 프레임워크는 현재 반복값을 각 비선형(부등식) 제약 조건의 타당 집합에 순차적으로 사영하는 방식으로 반복 수행한다.
• von Neumann의 교차 사영, Bregman의 방법, Kaczmarz 방법을 비선형 및 비볼록 제약 조건으로 일반화한다.
• 세 가지 변형이 제안된다: 순환(CP), 무작위(RP), 그리고 두 가지 그릅 전략—그릅 사영(GP) 및 정규화된 그릅 사영(NGP)—을 통해 수렴 속도를 향상시킨다.
• 수렴 분석은 해점에서 비선형 함수의 자코비안 행렬의 Hoffman 상수에 기반한다.
• 수렴 속도에 대한 이론적 경계를 도출하였으며, 자코비안의 스펙트럼 및 노름 성질에 따라 의존하는 선형 수렴을 보여준다.
• 프레임워크는 위상 복원 및 그래프 실현 문제에 적용되어 수치 실험에서 빠른 수렴을 보여준다.

실험 결과

연구 질문

• RQ1 비선형 연립방정식 및 부등식에 대해 사영의 반복적 방법이 이론적으로 수렴함을 증명할 수 있는가?
• RQ2 비선형이며 비볼록 설정에서 사영의 반복적 방법의 수렴 속도는 무엇이며, 문제의 구조에 어떻게 의존하는가?
• RQ3 제약 조건의 그릅 선택 전략이 순환 및 무작위 방법을 초월해 사영의 반복적 방법의 수렴 속도를 향상시킬 수 있는가?
• RQ4 자코비안 행렬의 Hoffman 상수는 SP 방법의 수렴 속도와 어떻게 관련되어 있는가?
• RQ5 SP 프레임워크는 위상 복원 및 그래프 실현과 같은 실제 문제에 대해 이론적 수렴 보장과 함께 효과적으로 적용될 수 있는가?

주요 결과

• SP 방법은 비선형 연립방정식/부등식의 해로 국소 선형 수렴을 달성하며, 이는 일반적인 비선형 및 비볼록 케이스에서 처음으로 이론적으로 증명된 것이다.
• 수렴 속도는 해점에서 자코비안 행렬의 Hoffman 상수를 포함하는 인자에 의해 제한되며, 다양한 SP 변형에 대해 더 날카로운 경계가 유도되었다.
• 그릅 사영(GP) 및 정규화된 그릅 사영(NGP) 변형은 모든 SP 변형 중에서 가장 빠른 수렴 속도를 보이며, CP 및 RP를 크게 능가한다.
• 모든 SP 변형의 반복 복잡도는 η-정확도를 달성하기 위해 O(log(1/η))이며, 이는 선형 수렴을 확인한다.
• 위상 복원 및 원 방정식에 대한 수치 결과에서는 모든 SP 변형이 선형으로 수렴하며, GP 및 NGP가 가장 빠르게 수렴하고, 기존의 Wirtinger Flow 및 Gerchberg-Saxton 방법을 능가한다.
• 수렴 속도는 제약 조건의 기하적 구조에 따라 달라지며, 해점에서 자코비안의 Hoffman 상수로 측정되며, 이는 수렴 속도를 국소 문제 조건화에 연결한다.