[논문 리뷰] Exact Support and Vector Recovery of Constrained Sparse Vectors via Constrained Matching Pursuit

Jinglai Shen, Seyedahmad Mousavi|arXiv (Cornell University)|2019. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 34인용 수 7

한 줄 요약

이 논문은 일반적인 제약 집합 하에서 희박 벡터의 정확한 서포트 및 벡터 복원을 위한 제약 있는 매칭 퇴적법(CMP) 알고리즘을 제안하며, 복원 성능이 측정 행렬과 제약 집합 양쪽에 의해 결정됨을 보여준다. 주요 기여는 비음수, 다면체, 단조성 제약 등이 포함된 좌표 투영 가능(CP admissible) 집합의 도입과, 제약 조건이 있는 설정에서 제한 이sovole이 유사 및 수직성 유사 상수를 사용한 정확한 복원을 위한 충분 조건의 수립이다.

ABSTRACT

Matching pursuit, especially its orthogonal version and other variations, is a greedy algorithm widely used in signal processing, compressed sensing, and sparse modeling and approximation. Inspired by constrained sparse signal recovery, this paper proposes a constrained matching pursuit algorithm and develops conditions for exact support and vector recovery on constraint sets via this algorithm. We show that exact recovery via constrained matching pursuit not only depends on a measurement matrix but also critically relies on a constraint set. We thus identify an important class of constraint sets, called coordinate projection admissible set, or simply CP admissible sets. This class of sets includes the Euclidean space, the nonnegative orthant, and many others arising from various applications; analytic and geometric properties of these sets are established. We then study exact vector recovery on convex, CP admissible cones for a fixed support. We provide sufficient exact recovery conditions for a general fixed support as well as necessary and sufficient recovery conditions for a fixed support of small size. As a byproduct of our results, we construct a nontrivial counterexample to the necessary conditions of exact vector recovery via the orthogonal matching pursuit given by Foucart, Rauhut, and Tropp, when the a given support is of size three. Moreover, by making use of cone properties and conic hull structure of CP admissible sets and constrained optimization techniques, we also establish sufficient conditions for uniform exact recovery on CP admissible sets in terms of the restricted isometry-like constant and the restricted orthogonality-like constant.

연구 동기 및 목표

• 일반적인 제약 조건 하에서 정확한 희박 복원의 이론적 이해 부족, 특히 OMP와 같은 탐욕 알고리즘에 대한 이해를 메우기 위해.
• 임의의 제약 집합을 처리할 수 있도록 OMP를 일반화한 제약 있는 매칭 퇴적법(CMP) 알고리즘을 개발하기 위해.
• 구조적 희박성 하에서 정확한 복원을 가능하게 하는 제약 집합의 클래스를 식별하고 특성화하기 위해.
• 작은 서포트 크기에서 볼 때, 특히 K=2,3일 경우 복 convex CP admissible 코네에서 정확한 벡터 복원을 위한 필요 및 충분 조건을 유도하기 위해.
• 새로운 제한 이sovole이 유사 및 수직성 유사 상수를 사용하여 일반적인 복 convex CP admissible 집합에서 균일한 복원 조건을 수립하기 위해.

제안 방법

• 각 단계에서 제약 조건이 있는 좌표별 최적화를 통해 다음 서포트 인덱스를 선택하는 제약 있는 매칭 퇴적법(CMP) 알고리즘을 제안한다.
• 각 반복 단계에서 현재 서포트를 기반으로 목표 벡터를 최적화하는 제약 조건이 있는 최적화 문제를 해결한다.
• 카르테시안 곱 R, R+, R− 및 기타 응용 분야 특화 집합을 포함하는 좌표 투영 가능(CP admissible) 집합의 개념을 도입한다.
• 일반적인 제약 집합에 대해 제한 이sovole이 유사 상수 δ̃K 와 제한 수직성 유사 상수 θ̃K 를 정의하여, 고전적 OMP 상수를 제약 조건이 있는 설정으로 확장한다.
• 볼록 분석 및 최적화 기법을 사용하여 복 convex CP admissible 집합에서 균일한 정확한 복원을 위한 충분 조건을 도출한다.
• 편향 분석을 활용하여 작은 행렬 편향 하에서도 복원 조건의 안정성을 보이며, 복원 조건을 만족하는 행렬의 집합이 행렬 공간에서 열려 있음을 증명한다.

실험 결과

연구 질문

• RQ1 제약 조건의 포함 여부가 OMP와 같은 탐욕 알고리즘의 정확한 서포트 및 벡터 복원 성능에 어떻게 영향을 미치는가?
• RQ2 어떤 종류의 제약 집합이 제약 있는 매칭 퇴적법을 통해 정확한 복원을 가능하게 하는가? 이러한 집합은 어떤 구조적 특성을 지닌다?
• RQ3 작은 서포트 크기(K=2,3)에서 복 convex CP admissible 코네에서 정확한 벡터 복원을 위한 필요 및 충분 조건을 도출할 수 있는가?
• RQ4 새로운 제한 상수를 사용하여 일반적인 복 convex CP admissible 집합에서 균일한 정확한 복원을 위한 충분 조건는 무엇인가?
• RQ5 고전적인 OMP 복원을 위한 필요 조건는 위반될 수 있으며, 만약 그렇다면 어떤 조건에서 위반이 발생하는가?

주요 결과

• 제약 있는 매칭 퇴적법을 통한 정확한 복원은 측정 행렬 뿐 아니라 제약 집합의 구조에 의해 결정되며, 이는 매우 중요하다.
• CP admissible 집합의 클래스는 공식적으로 정의되었으며, 비음수성, 다면체, 단조성 제약 등 많은 응용 분야에서 관련된 제약 조건을 포함함을 보여주었다.
• 서포트 크기 K=2 및 K=3일 경우, 복 convex CP admissible 코네에서 정확한 벡터 복원을 위한 필요 및 충분 조건가 유도되었다.
• K=3일 때 Foucart, Rauhut, Tropp가 제시한 OMP 정확한 복원을 위한 잘 알려진 필요 조건가 비현실적인 반례를 구성하여, 이 조건이 항상 유효하지 않음을 입증하였다.
• 제한 이sovole이 유사 상수 δ̃K 와 제한 수직성 유사 상수 θ̃K 를 사용하여 일반적인 복 convex CP admissible 집합에서 균일한 정확한 복원을 위한 충분 조건가 수립되었으며, 이는 1−δ̃K > √K·θ̃K 를 요구한다.
• 복원 조건을 만족하는 행렬의 집합이 행렬 공간에서 열려 있음을 증명하여, 측정 행렬의 작은 편향에 대해 복원 조건이 안정적임을 의미한다.