[논문 리뷰] Randomized projection methods for convex feasibility problems: conditioning and convergence rates

Ion Necoara, Peter Richtárik외 1명|arXiv (Cornell University)|2018. 01. 15.

Optimization and Variational Analysis참고 문헌 26인용 수 10

한 줄 요약

이 논문은 볼록 가능성 문제를 위한 일반적인 랜덤 프로젝션 알고리즘 프레임워크를 제안하며, 병렬 처리를 향상시키기 위해 동시에 여러 집합에 프로젝션을 수행할 수 있도록 한다. 문제의 조건화와 반복당 프로젝션 수에 따라 명시적인 하향선형 및 선형 수렴 속도를 확립하며, 핵심 결과로는 선형 정규성 조건과 교차 내부에 구가 존재하는 조건 하에서 선형 수렴이 성립함을 보여준다.

ABSTRACT

Finding a point in the intersection of a collection of closed convex sets, that is the convex feasibility problem, represents the main modeling strategy for many computational problems. In this paper we analyze new stochastic reformulations of the convex feasibility problem in order to facilitate the development of new algorithmic schemes. We also analyze the conditioning problem parameters using certain (linear) regularity assumptions on the individual convex sets. Then, we introduce a general random projection algorithmic framework, which extends to the random settings many existing projection schemes, designed for the general convex feasibility problem. Our general random projection algorithm allows to project simultaneously on several sets, thus providing great flexibility in matching the implementation of the algorithm on the parallel architecture at hand. Based on the conditioning parameters, besides the asymptotic convergence results, we also derive explicit sublinear and linear convergence rates for this general algorithmic framework.

연구 동기 및 목표

• 무한대의 볼록 집합 가족을 다룰 수 있도록 기존의 프로젝션 방법을 통합하고 확장하기 위해 볼록 가능성 문제의 스토하스틱 재구성 방식을 도입한다.
• 개별 볼록 집합에 대한 선형 정규성 가정을 사용하여 볼록 가능성 문제의 조건화를 분석한다.
• 기존의 고전적 방법을 확장하고 병렬 계산을 위한 동시에 여러 집합에 프로젝션을 수행할 수 있도록 하는 일반적인 랜덤 프로젝션 알고리즘 프레임워크를 개발한다.
• 문제에 특화된 조건화 파rameter에 기반한 명시적인 수렴 속도—하향선형 및 선형 수렴 속도—를 유도한다.
• 반복당 프로젝션 수가 병렬 아키텍처에서 수렴 속도와 알고리즘 효율성에 미치는 영향을 설명한다.

제안 방법

• 제약 조건 또는 집합의 랜덤 샘플링을 도입하여 볼록 가능성 문제를 스토하스틱 최적화 문제로 재구성한다.
• 반복마다 여러 볼록 집합에 동시에 프로젝션을 허용하는 일반적인 랜덤 프로젝션 알고리즘을 도입하며, 주어진 확률에 따라 랜덤 샘플링을 사용한다.
• 랜덤라이즈드 카츠마르츠 타입 업데이트 규칙을 적용한다: $ x^{k+1} = x^k - \alpha_k \frac{\Pi_+(S_k^T A x^k - S_k^T b)}{\|A^T S_k\|^2} A^T S_k $, 여기서 $ S_k $ 는 랜덤 샘플링 행렬이다.
• 해결 집합까지의 기대 거리 $ \mathbb{E}[\text{dist}_{\mathcal{X}}^2(x^k)] $ 를 사용하여 수렴을 분석하며, 조건화 파rameter에 기반한 경계를 도출한다.
• 선형 정규성 이론을 적용하여 선형 수렴 속도를 도출하며, 특히 교차 집합 내에 구가 존재하는 조건 하에서 분석한다.
• 수렴 속도를 정량화하기 위해 선형 정규성 상수 $ \kappa $ 를 정의한다: $ \kappa = \frac{\|x^0 - \bar{x}\|^2}{\delta^2 \min_S p_S} $.

실험 결과

연구 질문

• RQ1 기존의 볼록 가능성 문제는 어떻게 스토하스틱적으로 재구성하여 무한대의 볼록 집합 가족을 다룰 수 있는가?
• RQ2 랜덤 프로젝션 방법에서 볼록 가능성 문제의 수렴 행동을 지배하는 조건화 파rameter는 무엇인가?
• RQ3 반복당 수행하는 프로젝션 수가 랜덤 프로젝션 알고리즘의 수렴 속도에 어떤 영향을 미치는가?
• RQ4 제안된 랜덤 프로젝션 프레임워크가 선형 수렴을 달성하는 데 필요한 가정은 무엇인가?
• RQ5 이 알고리즘은 이론적 수렴 보장을 유지하면서 병렬 아키텍처에 적응시킬 수 있는가?

주요 결과

• 제안된 랜덤 프로젝션 프레임워크는 기존의 교차 및 평균 프로젝션 방법을 일반화하고 확장하며, 동시에 여러 집합에 프로젝션을 수행할 수 있도록 한다.
• 선형 정규성 가정 하에서 선형 수렴이 확립되며, 이 수렴 속도는 문제의 기하학적 성질에서 유도된 조건화 파arameter $ \kappa $ 에 따라 달라진다.
• 해결 집합 내에 반지름 $ \delta $ 의 구가 존재하는 경우, 선형 수렴 속도는 $ \left(1 - \frac{p_{\min} \delta^2}{R^2}\right)^k $ 로 경계가 된다. 여기서 $ R = \|x^0 - \bar{x}\| $ 이고 $ p_{\min} = \min_S p_S $ 이다.
• 해결 집합까지의 기대 거리는 $ \mathbb{E}[\text{dist}_{\mathcal{X}}^2(x^k)] \leq \left(1 - \frac{1}{\kappa}\right)^k \text{dist}_{\mathcal{X}}^2(x^0) $ 를 만족하며, 이는 조건화 상수에 대한 명시적인 의존성을 보여준다.
• 시퀀스 $ \|x^k - x^*\| $ 는 $ \alpha_k \in [0,1] $ 일 때 비증가하며, 해에 대한 거리의 안정성과 단조 감소를 보장한다.
• 프레임워크는 $ \alpha_k = 1 $ 일 때 [27]의 랜덤라이즈드 프로젝션 알고리즘을 특수 케이스로 포함하며, 동일한 가정 하에서 동일한 수렴 속도를 회복한다.