[논문 리뷰] A Sparse Johnson--Lindenstrauss Transform

Anirban Dasgupta, Ravi Kumar외 1명|arXiv (Cornell University)|2010. 04. 23.

Sparse and Compressive Sensing TechniquesEngineering참고 문헌 19인용 수 19

한 줄 요약

이 논문은 O(1/ε)의 비제로 요소를 각 열당 갖는 해시 기반 구조를 사용하여 희소 Johnson-Lindenstrauss 변환을 제안한다—기존의 O(1/ε²)보다 훨씬 희소하며, 비제로 요소당 업데이트 시간이 ˜O(1/ε)로 빠르게 한다. 이 방법은 局소 밀도화를 갖는 해시를 활용하며, 일치하는 하한을 증명하여 희소 벡터와 스트리밍 워크로드에 대해 더 빠른 차원 축소를 가능하게 한다.

ABSTRACT

Dimension reduction is a key algorithmic tool with many applications including nearest-neighbor search, compressed sensing and linear algebra in the streaming model. In this work we obtain a {\em sparse} version of the fundamental tool in dimension reduction --- the Johnson--Lindenstrauss transform. Using hashing and local densification, we construct a sparse projection matrix with just $ ilde{O}(\frac{1}ε)$ non-zero entries per column. We also show a matching lower bound on the sparsity for a large class of projection matrices. Our bounds are somewhat surprising, given the known lower bounds of $Ω(\frac{1}{ε^2})$ both on the number of rows of any projection matrix and on the sparsity of projection matrices generated by natural constructions. Using this, we achieve an $ ilde{O}(\frac{1}ε)$ update time per non-zero element for a $(1\pmε)$-approximate projection, thereby substantially outperforming the $ ilde{O}(\frac{1}{ε^2})$ update time required by prior approaches. A variant of our method offers the same guarantees for sparse vectors, yet its $ ilde{O}(d)$ worst case running time matches the best approach of Ailon and Liberty.

연구 동기 및 목표

• 쌍별 거리 보존을 높은 확률로 유지하면서 열당 비제로 요소 수를 최소화하는 희소 랜덤 프로젝션 행렬을 설계하는 것.
• 독립 동일 분포 랜덤 행렬에 대한 알려진 Ω(1/ε²) 희소성 하한을 해시를 통한 구조적 의존성 도입으로 극복하는 것.
• 특히 전역 변환이 비용이 많이 드는 턴스타일 모델에서 희소 벡터와 스트리밍 데이터에 대해 더 빠른 업데이트 시간을 달성하는 것.
• 일반 조건 하에서 JL 성질을 만족하기 위한 비제로 요소 수에 대한 최적 하한을 설정하는 것으로, 제안된 구조가 점근적으로 최적임을 증명하는 것.

제안 방법

• 각 차원을 정확히 한 개의 해시 버킷으로 매핑하는 해시 함수를 사용하여 프로젝션 행렬을 구성함으로써, 요소 간에 통제된 의존성을 도입함.
• 농도 분포 분석을 단순화하고 농도 경계를 더 견고하게 하기 위해 가우시안 대신 ±1 랜덤 변수를 사용함.
• 다른 해시 버킷에서 기인한 오차 기여의 상관관계를 다루기 위해 FKG 부등식을 적용하여 총 오차의 집중을 보장함.
• 희소 입력 벡터를 밀도화하기 위해 복제 기법을 사용하여 JL 성질을 만족하기 위한 ∥x∥∞ 요구 조건을 O(ε)에서 O(√ε)로 감소시킴.
• 모든 벡터에 대해 ˜O(min(nnz(x)/ε, d)) 최악의 경우 실행 시간을 달성하기 위해 블록 히든드라드 전처리를 사용함.
• Nisan의 가짜 난수 생성기를 사용하여 해시 함수를 결정론적으로 만들지만, 더 효율적인 결정론화 방법이 발견되지 않는 한 업데이트 시간이 ˜O(k)로 증가함.

실험 결과

연구 질문

• RQ1 O(1/ε²) 이하의 비제로 요소를 각 열당 갖는 Johnson-Lindenstrauss 변환을 (1±ε)-왜곡을 유지하면서 구성할 수 있는가?
• RQ2 고정된 열 희소성과 구조적 의존성을 갖는 해시 기반 구조가 i.i.d. 랜덤 행렬보다 더 나은 희소성과 더 빠른 업데이트 시간을 가능하게 하는가?
• RQ3 일반 조건 하에서 JL 성질을 만족하기 위해 열당 비제로 요소 수의 최적 하한은 얼마인가?
• RQ4 희소 벡터에 대해 턴스타일 스트리밍 모델에서 업데이트 시간을 ˜O(d) 이하로 낮출 수 있는가?
• RQ5 제안된 구조는 최적이며, 넓은 범위의 프로젝션 행렬에 대해 일치하는 하한을 증명할 수 있는가?

주요 결과

• 논문은 O(1/ε log²(k/δ) log(1/δ))의 비제로 요소를 각 열당 갖는 희소 Johnson-Lindenstrauss 변환을 구성하여 o(1/ε²) 희소성 달성.
• 비제로 입력 요소당 ˜O(1/ε) 업데이트 시간을 달성하여 이전 방법의 ˜O(1/ε²) 시간에 비해 크게 향상됨.
• 큰 범위의 프로젝션 행렬에 대해 Ω(min(1/ε², √log k(d)/ε))의 비제로 요소 수를 열당 갖는 일치하는 하한이 증명됨.
• 희소 벡터의 경우 실행 시간이 ˜O(nnz(x)/ε)로, 희소성 비율과 ε에 대한 의존성 면에서 기존 방법보다 빠름.
• 모든 벡터에 대해 ˜O(min(nnz(x)/ε, d)) 최악의 경우 시간을 달성하여 희소 벡터에 대해 기존 최고 수준의 경계를 충족함.
• 희소성과 업데이트 시간 면에서 최적이며, 비제로 요소의 약간의 모멘트 조건 하에서도 하한이 유지됨.