[논문 리뷰] Projection Methods for Sparse Affine Feasibility: results and counterexamples

Robert Hesse, D. Lüke외 1명|arXiv (Cornell University)|2013. 07. 08.

Sparse and Compressive Sensing Techniques참고 문헌 27인용 수 9

한 줄 요약

이 논문은 볼록 휴리스틱을 사용하지 않고 희박한 애핀 탈진 문제를 해결하기 위한 투영 기반 방법을 조사한다. 교차 투영의 국소 선형 수렴성을 증명하고, 일반적인 희박성 조건 하에서 Douglas-Rachford 방법이 수렴하지 않음을 보이며, 이는 이 방법이 점근적 희박성 최적화에 부적합함을 시사한다.

ABSTRACT

Abstract. The problem of finding a vector with the fewest nonzero elements that satisfies an underdetermined system of linear equations is an NP-complete problem that is typically solved nu-merically via convex heuristics or nicely-behaved non-convex relaxations. In this work we consider elementary methods based on projections for solving a sparse feasibility problem without employing convex heuristics. We show that the fundamental method of alternating projections must converge locally linearly to a solution to the sparse feasibility problem with an affine constraint. Our analysis provides the radius of convergence and rate based on the angle of intersection of the sparsity set and the affine constraint. Under stronger assumptions on the intersection we also show local linear con-vergence, with radius of convergence, of the Douglas-Rachford algorithm. The stronger assumptions are in fact necessary for convergence of the Douglas-Rachford for affine feasibility. We show that these assumptions are not satisfied for most sparsity problems of interest, indicating that methods related to the Douglas-Rachford Algorithm, such as Alternating Directions Method of Multipliers, are not a promising algorithmic approach asymptotically for sparsity optimization.

연구 동기 및 목표

• 볼록 완화나 휴리스틱에 의존하지 않고 희박성 탈진을 위한 투영 기반 알고리즘을 분석하는 것.
• 희박한 애핀 탈진 문제에서 교차 투영과 Douglas-Rachford 방법의 수렴 행동을 규명하는 것.
• 특히 두 집합 간의 각도와 같은 기하적 성질에 초점을 맞춰 이러한 투영 방법의 수렴 조건을 규명하는 것.
• ADMM 유형의 방법과 같은 Douglas-Rachford 기반 방법이 대규모 희박성 최적화 문제에 적합한지 평가하는 것.

제안 방법

• 애핀 제약 조건 집합과 희박성(하나의 부분공간의 합집합) 집합 사이의 교차 투영 방법을 사용한다.
• 희박성 집합과 애핀 탈진 집합 간의 교차 각도를 핵심 기하 매개변수로 삼아 수렴성을 분석한다.
• 동일한 탈진 문제에 대해 Douglas-Rachford 알고리즘을 적용하고, 더 강력한 기하적 가정 하에서의 수렴성을 분석한다.
• 두 집합 간의 각도에 기반하여 교차 투영의 수렴 반경과 선형 수렴 속도를 유도한다.
• 기하학적 및 변분 분석을 사용하여 수렴이 발생하는 조건을 확립하며, 특히 교차의 구조에 초점을 맞춘다.
• 이론적 수렴 성질을 희박성 문제에 대한 실용적 성능 기대와 비교한다.

실험 결과

연구 질문

• RQ1 희박한 애핀 탈진 문제의 해로 향한 교차 투영 방법이 국소적으로 선형 수렴하기 위한 기하적 조건은 무엇인가?
• RQ2 애핀 제약 조건이 있는 희박성 탈진 문제에 대해 Douglas-Rachford 알고리즘이 보장적으로 수렴할 수 있는가?
• RQ3 희박성 집합과 애핀 제약 조건 간의 각도가 수렴 속도와 반경을 결정하는 데 어떤 역할을 하는가?
• RQ4 ADMM 유형의 방법, 즉 Douglas-Rachford에 기반한 방법들은 점근적으로 희박성 탈진 문제를 해결하는 데 적합한가?
• RQ5 왜 표준 Douglas-Rachford 수렴 가정이 일반적인 희박성 복원 시나리오에서는 성립하지 않는가?

주요 결과

• 교차 투영 방법은 희박성 탈진 문제의 해로 국소적으로 선형 수렴하며, 이 수렴 속도와 반경은 희박성 집합과 애핀 제약 조건 간의 각도에 의해 결정된다.
• Douglas-Rachford 알고리즘은 두 집합의 교차에 대해 더 강력한 기하학적 가정이 성립할 때에만 국소적으로 선형 수렴한다.
• 이러한 더 강력한 가정은 대부분의 실용적 희박성 탈진 문제에서는 만족되지 않으며, 이는 Douglas-Rachford 기반 방법이 이러한 문제들에 대해 일반적으로 수렴하지 않음을 의미한다.
• Douglas-Rachford의 수렴 가정 실패는 ADMM 및 관련 알고리즘이 희박성 최적화에 대해 점근적으로 신뢰할 수 없다는 것을 암시한다.
• 분석은 교차 각도를 통한 수렴의 기하학적 특성화를 제공하며, 알고리즘 행동을 예측하기 위한 정량적 프레임워크를 제시한다.
• 결과는 기본적인 투영 방법이 볼록 휴리스틱 없이도 특정 기하학적 조건 하에서는 효과적일 수 있음을 보여준다.