[논문 리뷰] Nearly-optimal bounds for sparse recovery in generic norms, with applications to k-median sketching

Artūrs Bačkurs, Piotr Indyk외 2명|arXiv (Cornell University)|2016. 01. 10.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 8

한 줄 요약

이 논문은 k-희소 벡터 위에서 벡터 노름의 메트릭의 듀블리어링 차원(doubling dimension)과 측정 수의 필요성을 연결함으로써 일반 노름에서 희소 복구를 위한 거의 최적의 측정 경계를 확립한다. 지구이동거리(EMD)와 같은 노름에 대해 새로운 효율적인 스케치 스킴을 제공하며, Frahling과 Sohler(2005년 STOC)가 제기한 동적 스트리밍 환경에서 k-중심점 군집화의 공간 복잡도에 대한 열린 문제를 해결한다.

ABSTRACT

We initiate the study of trade-offs between sparsity and the number of measurements in sparse recovery schemes for generic norms. Specifically for a norm ||·||, sparsity parameter k, approximation factor K > 0, and probability of failure P > 0, we ask: what is the minimal value of m so that there is a distribution over m × n matrices A with the property that for any x, given Ax, we can recover a k-sparse approximation to x in the given norm with probability at least 1 -- P? We give a partial answer to this problem, by showing that for norms that admit efficient linear sketches, the optimal number of measurements m is closely related to the doubling dimension of the metric induced by the norm ||·|| on the set of all k-sparse vectors. By applying our result to specific norms, we cast known measurement bounds in our general framework (for the ep norms, p ∈ [1, 2]) as well as provide new, measurement-efficient schemes (for the Earth-Mover Distance norm). The latter result directly implies more succinct linear sketches for the well-studied planar k-median clustering problem. Finally our lower bound for the doubling dimension of the EMD norm enables us to resolve the open question of [Frahling-Sohler, STOC'05] about the space complexity of clustering problems in the dynamic streaming model.

연구 동기 및 목표

• 임의의 노름에 대해 희소성과 측정 복잡도 간의 상호 관계를 이해하기 위해.
• 실패 확률 P를 고려할 때, 주어진 노름 하에서 신뢰할 수 있는 k-희소 근사에 필요한 최소 측정 수 m을 특성화하기 위해.
• ℓp(1 ≤ p ≤ 2) 및 지구이동거리(EMD)와 같은 특정 노름에 이 프레임워크를 적용하여 새로운 측정 효율적인 스킴을 도출하기 위해.
• Frahling과 Sohler(2005년 STOC)가 제기한 동적 스트리밍 환경에서 k-중심점 군집화의 공간 복잡도에 대한 열린 문제를 해결하기 위해.

제안 방법

• 일반 노름 ||·|| 에서 희소 복구 문제를 정의하며, 목표는 m개의 선형 측정 Ax를 통해 x의 k-희소 근사를 복구하는 것이다.
• 최적의 측정 수 m과 k-희소 벡터 집합 위에서 ||·|| 가 유도하는 메트릭의 듀블리어링 차원 사이의 연결 고리를 설정한다.
• 효율적인 선형 스케치를 허용하는 노름의 경우, 듀블리어링 차원이 측정 복잡도의 대체 지표로 기능할 수 있음을 이용한다.
• 기존의 노름(예: 1 ≤ p ≤ 2 인 ℓp)에 이 프레임워크를 적용하여 기존의 경계를 재현함으로써 접근법의 타당성을 검증한다.
• EMD 노름을 분석하여 k-중심점 군집화에 대한 새로운 측정 효율적인 스케치 스킴을 도출한다.
• EMD 노름의 듀블리어링 차원에 하한을 설정하여 측정 경계의 날카로움을 증명하고 동적 스트리밍 복잡도 문제를 해결한다.

실험 결과

연구 질문

• RQ1 k-희소 근사와 실패 확률 P를 고려할 때, 일반 노름에서 희소 복구에 필요한 최소 측정 수 m은 얼마인가?
• RQ2 k-희소 벡터 위에서 노름의 메트릭의 듀블리어링 차원은 최적의 측정 복잡도와 어떻게 관련이 있는가?
• RQ3 이 프레임워크는 지구이동거리와 같은 노름에 대해 새로운 더 효율적인 스케치 스킴을 도출할 수 있는가?
• RQ4 유도된 경계는 동적 스트리밍 환경에서 k-중심점 군집화의 공간 복잡도에 대한 열린 문제를 해결하는가?
• RQ5 기존의 ℓp 노름에 대한 희소 복구 경계는 이 일반 프레임워크에 얼마나 잘 통합되는가?

주요 결과

• 노름 ||·|| 에서 희소 복구에 필요한 최적의 측정 수 m은 ||·|| 가 k-희소 벡터 집합 위에서 유도하는 메트릭의 듀블리어링 차원에 의해 날카롭게 특성화된다.
• 효율적인 선형 스케치를 허용하는 노름의 경우, 측정 복잡도는 k-희소 부분공간의 듀블리어링 차원에 의해 점점 더 결정된다.
• 이 프레임워크는 1 ≤ p ≤ 2 인 ℓp 노름에 대해 기존의 측정 경계를 재현하며, 그 일반성과 정확성을 검증한다.
• 지구이동거리(EMD) 노름에 대해 새로운 측정 효율적인 스케치 스킴이 개발되었으며, 이는 평면상의 k-중심점 군집화에 대해 더 간결한 선형 스케치를 가능하게 한다.
• EMD 노름의 듀블리어링 차원에 하한이 확립되었으며, 이는 Frahling과 Sohler(2005년 STOC)가 제기한 동적 스트리밍 환경에서 k-중심점 군집화의 공간 복잡도 문제를 직접적으로 해결한다.
• 결과적으로, 동적 스트리밍 환경에서 k-중심점 군집화의 공간 복잡도는 EMD 메트릭이 k-희소 벡터 위에서 유도하는 듀블리어링 차원에 의해 날카롭게 경계된다.