[논문 리뷰] Infeasibility and error bound imply finite convergence of alternating projections

Roger Behling, Yunier Bello-Cruz외 1명|arXiv (Cornell University)|2020. 08. 07.

Sparse and Compressive Sensing Techniques참고 문헌 41인용 수 11

한 줄 요약

이 논문은 두 개의 교차하지 않는 닫힌 볼록 집합이 리프시츠 성질을 가진 오차 한계 조건을 만족할 경우, 교대 투영 방법(MAP)이 유한하게 수렴함을 입증한다. 놀랍게도, 이전에는 장애로 여겨졌던 비가능성(infeasibility)과 같은 오차 한계 조건이 조합될 경우, 비다각형 집합에 대해서조차도 유한 수렴을 보장하며, 집합 간 거리가 증가하거나 오차 한계가 강화될수록 수렴 속도가 향상됨을 보여준다.

ABSTRACT

This paper combines two ingredients in order to get a rather surprising result on one of the most studied, elegant and powerful tools for solving convex feasibility problems, the method of alternating projections (MAP). Going back to names such as Kaczmarz and von Neumann, MAP has the ability to track a pair of points realizing minimum distance between two given closed convex sets. Unfortunately, MAP may suffer from arbitrarily slow convergence, and sublinear rates are essentially only surpassed in the presence of some Lipschitzian error bound, which is our first ingredient. The second one is a seemingly unfavorable and unexpected condition, namely, infeasibility. For two non-intersecting closed convex sets satisfying an error bound, we establish finite convergence of MAP. In particular, MAP converges in finitely many steps when applied to a polyhedron and a hyperplane in the case in which they have empty intersection. Moreover, the farther the target sets lie from each other, the fewer are the iterations needed by MAP for finding a best approximation pair. Insightful examples and further theoretical and algorithmic discussions accompany our results, including the investigation of finite termination of other projection methods.

연구 동기 및 목표

• 두 닫힌 볼록 집합이 교차하지 않는 불일치 케이스에서 교대 투영 방법(MAP)의 수렴 행동을 조사하는 것.
• 일반적으로 해로운 것으로 간주되는 비가능성이 실제로 MAP의 수렴을 가속화할 수 있는지 여부를 규명하는 것.
• MAP가 유한 수렴을 달성하는 조건, 즉 유한한 단계 내에 최적의 근접 쌍에 도달하는 조건을 규명하는 것.
• 최적의 근접 쌍 오차 한계(BAP error bound)와 MAP의 유한 수렴 간의 연결 고리를 설정하는 것.
• 불일치 조건 하에서 Cyclic Projections, Cimmino, Douglas-Rachford와 같은 다른 투영 기반 방법으로의 분석 확장

제안 방법

• 분석은 점에서 교차부분까지의 거리를 개별 집합까지의 거리로 정량화하는 BAP 오차 한계 조건에 기반하며, 특히 최적의 지지 초평면의 맥락에서 고려된다.
• 비가능성(X ∩ Y = ∅)과 리프시츠 성질 오차 한계의 동시 가정 하에 기하학적 및 변분 분석 기법을 사용하여 유한 수렴을 증명한다.
• 다중 집합 가능 문제를 이중 집합 문제로 환원하기 위해 피에르아의 곱공간 재구성 기법을 활용한다.
• 직교 투영, 탄성 원추, 선형 정규성 및 내재적 교차성과 같은 정규성 개념의 성질을 이용해 이론적 결과를 유도한다.
• MAP 반복의 행동과 각 단계에서 BAP 오차 한계에 대한 그들의 부합 정도를 분석함으로써 유한 종료 조건을 조사한다.
• 홀더 유형 오차 한계의 역할을 설명하고 유한 수렴의 경계를 탐색하기 위해 예제와 반례를 사용한다.

실험 결과

연구 질문

• RQ1 볼록 가능 문제에서의 비가능성이 교대 투영 방법의 유한 수렴을 초래할 수 있는가?
• RQ2 비가능성과 오차 한계의 조합이 MAP의 유한 수렴을 보장하는 조건은 무엇인가?
• RQ3 오차 한계의 강도(예: 리프시츠 대비 홀더)가 불일치 케이스에서 MAP의 수렴 속도에 어떻게 영향을 미치는가?
• RQ4 Cyclic Projections, Cimmino, Douglas-Rachford와 같은 다른 투영 기반 방법으로의 유한 수렴은 어느 정도까지 확장될 수 있는가?
• RQ5 비다각형 설정에서 MAP 수열의 유한 종료와 BAP 오차 한계 사이에 연결 고리가 존재하는가?

주요 결과

• 두 닫힌 볼록 집합이 서로소일 경우(비가능성)이고 리프시츠 성질 오차 한계를 만족할 경우, 비다각형 집합일지라도 MAP의 유한 수렴이 달성된다.
• 교차하지 않는 다각형과 초평면의 조합에서는 BAP 오차 한계가 자동으로 만족되며, 이는 MAP의 유한 수렴을 보장한다.
• 집합 간 거리가 증가할수록 유한 수렴을 위한 반복 횟수가 감소함을 보여주며, 이는 비가능성에 유리하게 반응함을 시사한다.
• 오차 한계를 향상시킬수록(예: 경계를 더 기울여서) 필요한 반복 횟수가 감소함을 보여주는 예시에서 반복 횟수는 10에서 3으로 감소한다.
• BAP 오차 한계는 MAP 수열의 유한 수렴에 필수적이고 충분한 조건이며, 이 조건이 모든 반복 단계에서 성립할 때에만 유한 수렴이 발생함을 의미한다.
• 이차 함수 또는 강력 볼록 함수를 포함하는 볼록 최소-최대 문제에서, q=1에 대한 홀더 정규성에 대한 추측이 참이라면, MAP는 유한 수렴 또는 선형 수렴을 달성할 수 있으며, 이는 비미분 가능 최적화에서 실용적 유용성을 시사한다.