[논문 리뷰] Optimal Sketching for Trace Estimation

Shuli Jiang, Hai Pham외 3명|arXiv (Cornell University)|2021. 11. 01.

Stochastic Gradient Optimization Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 실패 확률 δ에 대해 (1±ε)-근사 추적 추정에서 쿼리 복잡도 $O(\sqrt{\log(1/\delta)}/\epsilon + \log(1\delta))$를 달성하는 최적의 비적응형 스케칭 알고리즘을 제안한다. 이는 이론적 하한선에 대해 $\log\log(1/\delta)$ 요소를 제외하고 일치하며, 적응형과 비적응형 방법 간의 격차를 메우며 비적응형 알고리즘이 ε과 δ에 대해 최적의 의존도를 달성할 수 있음을 보여준다.

ABSTRACT

Matrix trace estimation is ubiquitous in machine learning applications and has traditionally relied on Hutchinson's method, which requires $O(\log(1/δ)/ε^2)$ matrix-vector product queries to achieve a $(1 \pm ε)$-multiplicative approximation to $ ext{tr}(A)$ with failure probability $δ$ on positive-semidefinite input matrices $A$. Recently, the Hutch++ algorithm was proposed, which reduces the number of matrix-vector queries from $O(1/ε^2)$ to the optimal $O(1/ε)$, and the algorithm succeeds with constant probability. However, in the high probability setting, the non-adaptive Hutch++ algorithm suffers an extra $O(\sqrt{\log(1/δ)})$ multiplicative factor in its query complexity. Non-adaptive methods are important, as they correspond to sketching algorithms, which are mergeable, highly parallelizable, and provide low-memory streaming algorithms as well as low-communication distributed protocols. In this work, we close the gap between non-adaptive and adaptive algorithms, showing that even non-adaptive algorithms can achieve $O(\sqrt{\log(1/δ)}/ε+ \log(1/δ))$ matrix-vector products. In addition, we prove matching lower bounds demonstrating that, up to a $\log \log(1/δ)$ factor, no further improvement in the dependence on $δ$ or $ε$ is possible by any non-adaptive algorithm. Finally, our experiments demonstrate the superior performance of our sketch over the adaptive Hutch++ algorithm, which is less parallelizable, as well as over the non-adaptive Hutchinson's method.

연구 동기 및 목표

• 추적 추정에서 적응형과 비적응형 알고리즘 간의 성능 격차, 특히 고확률 설정에서의 격차를 해소한다.
• 비적응형 스케칭 알고리즘의 쿼리 복잡도 이론적 격차를 좁혀, ε과 δ에 대한 최적의 의존도를 달성한다.
• 비적응형 방법이 Hutch++와 같은 적응형 알고리즘의 효율성에 도달할 수 있음을 보이며, 병렬성과 저메모리 스트리밍 환경에서의 이점을 유지함을 입증한다.
• 비적응형 알고리즘이 더 이상 향상시킬 수 없는 최소 쿼리 복잡도를 보여주는 날카운 하한선을 수립한다. 이는 $\log\log(1/\delta)$ 요소를 제외하고는 최적이다.
• 실험적 검증을 통해 제안된 스케칭이 실질적으로 비적응형 Hutchinson과 적응형 Hutch++를 모두 능가함을 보이며, 특히 분산 및 스트리밍 환경에서 뛰어난 성능을 발휘한다.

제안 방법

• 랜덤화된 행렬-벡터 쿼리와 분산 감소 기법을 조합한 새로운 비적응형 스케칭 알고리즘을 설계하여 최적의 쿼리 복잡도를 달성한다.
• 차원에 의존하지 않는 쿼리 벡터 분포를 사용하여 다양한 행렬 차원에서의 강건성과 확장 가능성을 확보한다.
• 고급 집중 부등식과 KL 발산 분석을 적용하여 분포 간의 총 변동 거리의 상한을 구하고, 특정 조건 하에서의 구별 불가능성을 증명한다.
• Pinsker의 부등식과 조건부 KL 발산을 활용하여, 분포를 구별하는 알고리즘의 실패 확률에 하한을 설정하고, 이로부터 쿼리 복잡도의 하한을 유도한다.
• 개선된 분석을 적용한 NA-Hutch++ 알고리즘의 수정 버전을 도입하여, 높은 확률로 주장된 쿼리 복잡도를 달성함을 보여준다.
• 가우시안 혼합 모델을 통해 딱딱한 예시를 구성하고, 정보 이론적 추론을 사용하여 어떤 비적응형 알고리즘도 성공 확률 1−δ를 달성하기 위해 $\Omega(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$ 쿼리를 수행해야 한다고 증명한다.

실험 결과

연구 질문

• RQ1 비적응형 스케칭 알고리즘이 추적 추정에서 Hutch++와 같은 적응형 알고리즘과 동일한 쿼리 복잡도를 달성할 수 있는가?
• RQ2 비적응형 추적 추정 알고리즘의 쿼리 복잡도가 ε과 δ에 대해 최적의 의존도를 가지는가?
• RQ3 비적응형 방법의 쿼리 복잡도를 더 줄일 수 있는 기본적인 한계가 존재하는가? 만약 그렇다면 그 한계는 무엇인가?
• RQ4 제안된 알고리즘이 실질적으로 비적응형 Hutchinson과 적응형 Hutch++를 모두 능가할 수 있는가? 특히 고병렬성 또는 스트리밍 환경에서 성능이 뛰어난가?
• RQ5 비적응형 추적 추정의 이론적 하한선은 얼마나 날카로운가? 그리고 상한선과 로그 요소를 제외하고 일치하는가?

주요 결과

• 제안된 비적응형 스케칭 알고리즘은 $O(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$의 쿼리 복잡도를 달성하며, 이는 이론적 하한선에 대해 $\log\log(1/\delta)$ 요소를 제외하고 일치한다.
• 알고리즘은 ε과 δ에 대한 최적의 의존도를 달성함으로써 비적응형과 적응형 방법 간의 격차를 메우며, 오랫동안 남아있던 열린 문제를 해결한다.
• 일치하는 하한선이 증명되었으며, 어떤 비적응형 알고리즘도 $\Omega(\sqrt{\log(1/\delta)}/\epsilon + \log(1/\delta))$의 쿼리 복잡도를 초과할 수 없다. 이는 $\log\log(1/\delta)$ 요소를 제외하고 최적이다.
• 실험 결과 제안된 스케칭이 수렴 속도와 병렬성 측면에서 비적응형 Hutchinson 방법과 적응형 Hutch++ 알고리즘을 모두 능가함을 보였다.
• 알고리즘은 강력한 이론적 보장을 유지하면서도 고병렬성과 저메모리 스트리밍 및 분산 컴퓨팅 환경에 매우 적합하다.
• 분석을 통해 어떤 비적응형 알고리즘으로도 두 분포를 구별하는 실패 확률은 δ 이하로 제한되며, 이는 특정 설정에서 $\Omega(\log(1/\delta)/\log\log(1/\delta))$ 쿼리의 하한을 이끌어낸다.