[논문 리뷰] Nonconvex set intersection problems: From projection methods to the Newton method for super-regular sets

C. H. Jeffrey Pang|arXiv (Cornell University)|2015. 06. 27.

Advanced Optimization Algorithms Research참고 문헌 32인용 수 3

한 줄 요약

이 논문은 초구형 집합(초구형 집합은 유리한 변동성 성질을 지닌 구조화된 비볼록 집합)을 활용하여, 이전에 볼록 집합 교차 문제에만 효과적이었던 SHQP(반평면 및 이차계획법 지원) 전략을 비볼록 집합 교차 문제로 확장한다. 초구형 조건 하에서 SHQP 방법의 선형 수렴성을 증명하고, 문제 기하학이 뉴턴 유형 방법과 일치할 경우 초선형 및 이차 수렴성을 확립함으로써, 비볼록 타당성 문제에 대한 실용적인 가속 프레임워크를 제공한다.

ABSTRACT

The problem of finding a point in the intersection of closed sets can be solved by the method of alternating projections and its variants. It was shown in earlier papers that for convex sets, the strategy of using quadratic programming (QP) to project onto the intersection of supporting halfspaces generated earlier by the projection process can lead to an algorithm that converges multiple-term superlinearly. The main contributions of this paper are to show that this strategy can be effective for super-regular sets, which are structured nonconvex sets introduced by Lewis, Luke and Malick. Manifolds should be approximated by hyperplanes rather than halfspaces. We prove the linear convergence of this strategy, followed by proving that superlinear and quadratic convergence can be obtained when the problem is similar to the setting of the Newton method. We also show an algorithm that converges at an arbitrarily fast linear rate if halfspaces from older iterations are used to construct the QP.

연구 동기 및 목표

• 이전에 볼록 집합에 효과적이었던 SHQP 전략을 초구형 집합을 사용하여 비볼록 환경으로 확장하는 것.
• 비볼록 환경에서 SHQP 방법의 수렴 보장(선형, 초선형, 이차 수렴성)을 확립하는 것.
• 비볼록 교차 문제에서도 프로젝션 이력과 이차계획법을 조합함으로써 빠른 수렴을 달성할 수 있음을 보여주는 것.
• 오래된 반평면을 제거하거나 온난시작 기법을 사용함으로써 효율성을 유지하는 알고리즘 전략을 제공하는 것.

제안 방법

• 초구형 집합에 대한 투영을 통해 생성된 지원 반평면을 사용하여 교차의 다면체 근사치를 정의한다.
• 각 반복 단계에서 이 반평면들의 교차에 대한 투영을 구하기 위해 이차계획문제를 해결하고, 새로운 반복값을 생성한다.
• 수치적 안정성과 계산 효율성을 유지하기 위해 오래된 반평면을 제거하며, QP 솔버에 대해 온난시작 기법을 적용한다.
• 교차 투영과 QP 기반 정밀화를 조합하고, 진행도를 보장하기 위해 백트래킹 선검색 또는 액티브세트 방법을 사용한다.
• 이론적 분석은 수렴 근처에서 투영이 분리 반평면을 생성하도록 초구형 조건을 활용한다.
• 글로벌 전략으로는 평균화된 투영을 사용하거나 이전 반복값 근처 영역을 피하는 방식을 통해 정체를 방지한다.

실험 결과

연구 질문

• RQ1 이전에 볼록 집합에 효과적이었던 SHQP 전략은 초구형 조건을 만족하는 비볼록 집합으로 확장 가능하며, 수렴성 보장이 가능한가?
• RQ2 비볼록 환경에서 SHQP 방법이 초선형 또는 이차 수렴성을 달성하는 조건는 무엇인가?
• RQ3 수렴 속도를 높이면서도 과도한 계산 비용을 피하기 위해 지원 반평면의 수를 어떻게 관리할 수 있는가?
• RQ4 비볼록 문제이면서 초기 반복값이 해에서 멀리 떨어져 있을 경우, 수렴을 유지하기 위해 어떤 글로벌 전략을 사용할 수 있는가?

주요 결과

• 약한 가정 하에 초구형 집합에 대해 SHQP 방법은 선형 수렴성을 보이며, 이는 볼록 수렴 결과를 일반화한다.
• 문제 기하학이 뉴턴 방법과 유사할 경우, SHQP 방법은 초선형 및 이차 수렴성을 달성한다.
• 오래된 반평면을 QP 하위문제에 유지할 경우, 임의로 빠른 선형 수렴이 가능하다.
• 오래된 반평면을 제거하면서 온난시작 QP 솔버를 사용함으로써 효율성이 유지되고, 마라토스 효과를 피할 수 있다.
• 비볼록 환경에서 표준 교차 투영법보다 성능이 뛰어나며, 특히 교차가 잘 조절된 경우 두드러진다.
• 수치 예제에서는 소수의 반평면만으로도 빠른 수렴이 가능함을 보여주어 실용적 효율성을 시사한다.