[논문 리뷰] Rademacher Chaos, Random Eulerian Graphs and The Sparse Johnson-Lindenstrauss Transform

Vladimir Braverman, Rafail Ostrovsky외 1명|arXiv (Cornell University)|2010. 11. 11.

Neural Networks and Applications참고 문헌 16인용 수 20

한 줄 요약

이 논문은 순서-2 Rademacher 혼돈의 모멘트를 무작위 유러리안 다중그래프의 조합 구조를 분석하여 스퍼스 존슨-린든스트라우스 변환의 희소성과 무작위성 요구 조건을 향상시킨다. 열당 비제로 원소 수를 $ O(1/\theta \log(1/\delta)\log(k/\delta)) $ 에서 $ O\left(\frac{1}{\epsilon}\left(\frac{\log(1/\delta)\log\log\log(1/\delta)}{\log\log(1/\delta)}\right)^2\right) $ 로 줄여, 유의미하게 유계를 강화하고 행렬 생성에 필요한 무작위성도 감소시킨다.

ABSTRACT

The celebrated dimension reduction lemma of Johnson and Lindenstrauss has numerous computational and other applications. Due to its application in practice, speeding up the computation of a Johnson-Lindenstrauss style dimension reduction is an important question. Recently, Dasgupta, Kumar, and Sarlos (STOC 2010) constructed such a transform that uses a sparse matrix. This is motivated by the desire to speed up the computation when applied to sparse input vectors, a scenario that comes up in applications. The sparsity of their construction was further improved by Kane and Nelson (ArXiv 2010). We improve the previous bound on the number of non-zero entries per column of Kane and Nelson from $O(1/ε\log(1/δ)\log(k/δ))$ (where the target dimension is $k$, the distortion is $1\pm ε$, and the failure probability is $δ$) to $$ O\left({1\overε} \left({\log(1/δ)\log\log\log(1/δ) \over \log\log(1/δ)} ight)^2 ight). $$ We also improve the amount of randomness needed to generate the matrix. Our results are obtained by connecting the moments of an order 2 Rademacher chaos to the combinatorial properties of random Eulerian multigraphs. Estimating the chance that a random multigraph is composed of a given number of node-disjoint Eulerian components leads to a new tail bound on the chaos. Our estimates may be of independent interest, and as this part of the argument is decoupled from the analysis of the coefficients of the chaos, we believe that our methods can be useful in the analysis of other chaoses.

연구 동기 및 목표

• 실패 확률 $ \delta $ 를 유지하면서 열당 비제로 원소 수를 줄이는 것.
• 변환 행렬을 생성하는 데 필요한 무작위성의 양을 줄이는 것.
• 독립된 원소를 가진 행렬에 대한 $ \tilde{\Omega}(\epsilon^{-2}) $ 희소성 하한선을 넘어서기 위해 행렬 구성에서의 구조적 의존성을 활용하는 것.
• 노드 분리 유러리안 그래프의 조합 구조를 완전히 활용하여 순서-2 Rademacher 혼돈에 대한 더 날카운 꼬리 경계를 제공하는 것.
• 이 문제를 넘어 다른 혼돈 과정에 적용 가능한 새로운 분석 프레임워크를 수립하는 것.

제안 방법

• 계수 $ a_{ij} $ 가 해시 함수와 입력 벡터에 따라 달라지는 순서-2 Rademacher 혼돈 $ Z = \sum_{1\leq i<j\leq d} a_{ij} \zeta_i \zeta_j $ 를 분석한다.
• $ Z $ 의 $ 2m $-번째 모멘트에 있는 단항식을 $ d $ 개의 노드를 가진 그래프로 매핑하며, 비제로 단항식은 노드 분리 유러리안 부분그래프의 합집합에 대응한다.
• 특정도 및 간선 다중성 제약 조건을 가진 유러리안 다중그래프의 조합 수를 세어 이를 제한한다.
• 희소 구성에 대해 정교한 수세기 기법을 적용하며, 집합 $ Q $ 의 크기와 그래프 내의 고유 색인 수 $ z $ 에 따라 경우를 나눈다.
• 유러리안 구성 요소의 구조적 성질과 통제된 상수를 가진 과다계산 기법을 사용하여 큰 짝수 모멘트를 제한함으로써 새로운 꼬리 부등식을 유도한다.
• 기존의 측도 집중 경계의 한계를 피하기 위해 그래프 이론적 구조를 완전히 활용한 새로운 모멘트 기반 분석을 도입한다.

실험 결과

연구 질문

• RQ1 카인과 넬슨의 $ O(1/\epsilon \log(1/\delta) \log(k/\delta)) $ 경계를 초월하여 스퍼스 존슨-린든스트라우스 변환의 희소성을 향상시킬 수 있는가?
• RQ2 실패 확률 $ \delta $ 와 $ (1\pm\epsilon) $ 왜곡을 달성하기 위해 스퍼스 존슨-린든스트라우스 행렬에서 열당 최소 몇 개의 비제로 원소가 필요한가?
• RQ3 혼돈 모멘트의 조합적 구조를 활용함으로써 이러한 행렬을 생성하는 데 필요한 무작위성 복잡도를 줄일 수 있는가?
• RQ4 기본이 되는 유러리안 그래프 구조를 분석함으로써 순서-2 Rademacher 혼돈의 모멘트를 더 날카롭게 유계화할 수 있는가?
• RQ5 혼돈 모멘트 전개의 완전한 조합적 분석이 이전의 부분 그래프 구조에 의존하는 방법보다 더 나은 꼬리 경계를 이끌어낼 수 있는가?

주요 결과

• 논문은 열당 비제로 원소 수에 대해 새로운 경계 $ O\left(\frac{1}{\epsilon}\left(\frac{\log(1/\delta)\log\log\log(1/\delta)}{\log\log(1/\delta)}\right)^2\right) $ 를 달성하여, 카인과 넬슨의 $ O\left(\frac{1}{\epsilon}\log(1/\delta)\log(k/\delta)\right) $ 경계를 향상시켰다.
• 혼돈 모멘트 전개에서 유러리안 다중그래프의 조합적 구조를 완전히 활용함으로써 행렬 생성에 필요한 무작위성을 줄였다.
• 무작위 다중그래프에서 노드 분리 유러리안 구성 요소의 수를 분석함으로써 순서-2 Rademacher 혼돈에 대한 새로운 꼬리 경계를 도출하였으며, 이는 더 날카운 모멘트 추정을 이끌어냈다.
• 행렬 구성에서의 구조적 의존성을 사용함으로써 독립 원소를 가진 행렬에 대한 $ \tilde{\Omega}(\epsilon^{-2}) $ 희소성 장벽을 피할 수 있었다.
• 구체적인 순서의 수를 세는 희소 구성에서의 조합적 프레임워크—특히 실제 수열의 수를 세는 방법—는 별도의 관심 분야일 수 있으며 다른 혼돈 과정에 적용 가능할 수 있다.
• 모든 경계는 인덱스 집합 $ Q $ 의 크기와 고유 색인 수 $ z $ 에 따라 경우를 나누어 정교한 과다계산과 점근적 경계를 사용함으로써 달성되었다.