[논문 리뷰] Testing Sparsity over Known and Unknown Bases

Siddharth Barman, Arnab Bhattacharyya외 1명|arXiv (Cornell University)|2016. 08. 03.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 저차원 선형 투영을 사용하여 고차원 벡터에서 희소성에 대한 효율적인 성질 테스팅 알고리즘을 제시한다. 두 가지 새로운 테스터를 도입한다: 알려진 설계 행렬에 대한 경우, 근사 Carathéodory 정리를 활용하여 O(kε⁻² log m) 쿼리로 다항시간 복잡도를 달성하는 알고리즘과, 제약을 받는 이sovometry 조건을 만족하는 알려지지 않은 행렬에 대한 경우, 강력한 가우시안 폭 특성 분석에 기반하여 O(ε⁻² log p) 쿼리로 작동하는 알고리즘으로, 둘 다 최적의 쿼리 복잡도와 높은 정확도를 확보한다.

ABSTRACT

Sparsity is a basic property of real vectors that is exploited in a wide variety of applications. In this work, we describe property testing algorithms for sparsity that observe a low-dimensional projection of the input. We consider two settings. In the first setting, for a given design matrix A in R^{d x m}, we test whether an input vector y in R^d equals Ax for some k-sparse unit vector x. Our algorithm projects the input onto O(k \eps^{-2} log m) dimensions, accepts if the property holds, rejects if ||y - Ax|| > \eps for any O(k/\eps^2)-sparse vector x, and runs in time polynomial in m. Our algorithm is based on the approximate Caratheodory's theorem. Previously known algorithms that solve the problem for arbitrary A with qualitatively similar guarantees run in exponential time. In the second setting, the design matrix A is unknown. Given input vectors y_1, y_2,...,y_p in R^d whose concatenation as columns forms Y in R^{d x p} , the goal is to decide whether Y=AX for matrices A in R^{d x m} and X in R^{m x p} such that each column of X is k-sparse, or whether Y is "far" from having such a decomposition. We give such a testing algorithm which projects the input vectors to O(log p/\eps^2) dimensions and assumes that the unknown A satisfies k-restricted isometry. Our analysis gives a new robust characterization of gaussian width in terms of sparsity.

연구 동기 및 목표

• 실수 벡터에서 희소성에 대한 효율적인 성질 테스팅 알고리즘을 선형 측정치를 사용하여 개발하기 위해.
• 설계 행렬 A가 알려져 있거나 알려지지 않은 경우에 대해 최소한의 쿼리 복잡도로 희소성 테스팅 문제를 해결하기 위해.
• 유사한 보장을 갖는 이전의 지수시간 솔루션을 넘어서 알려진-A 설정에서 다항시간 알고리즘을 달성하기 위해.
• 제약을 받는 이sovometry와 가우시안 폭 분석을 활용하여 노이즈와 알려지지 않은 A에 대해 강력한 테스팅을 제공하기 위해.
• 이론적 및 알고리즘적 용도로 고차원 설정에서의 희소성과 관련된 새로운 강력한 가우시안 폭 특성화를 수립하기 위해.

제안 방법

• 알려진 설계 행렬 설정에서, 희소성 테스팅 문제를 낮은 차원의 투영으로 줄이기 위해 근사 Carathéodory 정리를 사용한다.
• y = Ax일지라도 k-희소 단위 벡터 x가 존재하는지 테스트하기 위해, 차원 O(kε⁻² log m)의 랜덤 선형 투영을 적용한다.
• 알려지지 않은 A 설정에서, 랜덤 행렬 M에 대해 My를 쿼리하는 스케치 기반 테스터를 적용하며, 쿼리 복잡도는 O(ε⁻² log p)이다.
• 알려지지 않은 행렬 A의 (ε,k)-제약 이sovometry 성질(RIP)에 의존하여 희소 표현의 안정적 복원을 보장한다.
• 적대적 노이즈 하에서 타당성과 완전성 보장을 유도하기 위해, 변형된 집합의 가우시안 폭을 분석한다.
• 집중 불등식과 가우시안 최대값의 尾 꼬리 경계를 사용하여 노이즈 있는 설정에서 추정 오차를 제한한다.

실험 결과

연구 질문

• RQ1 설계 행렬 A가 알려져 있을 때, 서브라인어 쿼리 복잡도로 희소성 테스팅을 효율적으로 수행할 수 있는가?
• RQ2 알려진-A 설정에서 희소성 테스팅을 위한 다항시간 알고리즘을 달성할 수 있는가? 지수시간 대안을 피할 수 있는가?
• RQ3 설계 행렬 A가 알려지지 않았지만 RIP를 만족할 경우, 어떻게 희소 표현을 테스트할 수 있는가?
• RQ4 노이즈 하에서 희소성 테스팅을 강력하게 수행하기 위해 필요한 최소 선형 측정치의 수는 얼마인가?
• RQ5 고차원 설정에서의 희소성을 포괄하는 새로운 강력한 가우시안 폭 특성화를 유도할 수 있는가?

주요 결과

• 알려진 A의 경우, 제안된 테스터는 O(kε⁻² log m) 쿼리 복잡도를 확보하고, m에 대해 거의 다항시간 내에 실행되며, 이는 이전의 지수시간 알고리즘에 비해 크게 향상된 성능이다.
• 알고리즘은 y = Ax를 만족하는 k-희소 단위 벡터 x가 존재하면 수락하고, 어떤 O(k/ε²)-희소 x에 대해서도 ||y - Ax|| > ε이면 높은 확률로 기각한다.
• 알려지지 않은-A 설정에서는 O(ε⁻² log p) 쿼리를 사용하며, Y = AX의 k-희소 열을 갖는지 또는 그러한 분해에서 멀리 떨어져 있는지 정확히 식별한다.
• 타당성과 완전성 보장은 ||wi||₂ ≤ O(ε¹/⁴) 및 ||zi||∞ ≤ ε²인 적대적 노이즈 하에서도 유지되어 강력함을 입증한다.
• 논문은 희소성에 따라 가우시안 폭의 새로운 강력한 특성화를 수립하였으며, 이는 희소 집합의 구조와 그 볼록 hull과의 연관성을 반영한다.
• 분석 결과, 노이즈 모델 하에서 변형된 집합  ω(Ŷ)의 가우시안 폭은 ω(Sp₄ₖᵐ)에 의해 유계이며, 이는 높은 확률로 정확한 수락을 보장한다.