[논문 리뷰] Low Rank Matrix-Valued Chernoff Bounds and Applications

Avner Magen, Anastasios Zouzias|arXiv (Cornell University)|2010. 05. 18.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 스펙트럴 노름에서 행렬 곱셈의 효율적이고 고확률적인 근사화를 가능하게 하기 위해 저질서수 행렬값 케르노프 경계를 도입한다. 비균일 행 샘플링 또는 무작위 선형 조합을 사용함으로써, 오차 경계가 입력 행렬의 안정적 질서수에만 의존하게 되어, 저질서수 및 구조적 행렬에 대해 확장성과 정확도가 크게 향상된다.

ABSTRACT

In this paper we develop algorithms for approximating matrix multiplication with respect to the spectral norm. Let A\in{\RR^{n imes m}} and B\in\RR^{n imes p} be two matrices and \eps>0. We approximate the product A^ op B using two down-sampled sketches, ilde{A}\in\RR^{t imes m} and ilde{B}\in\RR^{t imes p}, where t\ll n such that orm{ ilde{A}^ op ilde{B} - A^ op B} \leq \eps orm{A} orm{B} with high probability. We use two different sampling procedures for constructing ilde{A} and ilde{B}; one of them is done by i.i.d. non-uniform sampling rows from A and B and the other is done by taking random linear combinations of their rows. We prove bounds that depend only on the intrinsic dimensionality of A and B, that is their rank and their stable rank; namely the squared ratio between their Frobenius and operator norm. For achieving bounds that depend on rank we employ standard tools from high-dimensional geometry such as concentration of measure arguments combined with elaborate \eps-net constructions. For bounds that depend on the smaller parameter of stable rank this technology itself seems weak. However, we show that in combination with a simple truncation argument is amenable to provide such bounds. To handle similar bounds for row sampling, we develop a novel matrix-valued Chernoff bound inequality which we call low rank matrix-valued Chernoff bound. Thanks to this inequality, we are able to give bounds that depend only on the stable rank of the input matrices...

연구 동기 및 목표

• 스펙트럴 노름에 대해 행렬 곱셈을 근사화하기 위한 효율적인 알고리즘을 개발하는 것.
• 정확도를 유지하면서 입력 행렬의 행을 샘플링하거나 스케칭하여 계산 비용을 줄이는 것.
• 오차 경계를 입력 행렬의 내재 차원성—특히 안정적 질서수—에만 의존하도록 유도하는 것.
• 기존 농도 기법이 저질서수 또는 구조적 행렬을 다룰 때 겪는 한계를 극복하는 것.
• 저질서수 설정에 특화된 새로운 행렬값 케르노프 경계를 수립하는 것.

제안 방법

• 이 방법은 두 가지 다른 스케칭 절차를 사용한다: i.i.d. 비균일 행 샘플링과 행렬 A 및 B의 행에 대한 무작위 선형 조합.
• 근사된 곱의 스펙트럴 노름 오차를 분석하기 위해 새로운 저질서수 행렬값 케르노프 경계를 도입한다.
• 측도 집중 및 에psilon 넷 구성 기법을 사용하여 질서수에 의존하는 경계를 유도한다.
• 질서수에서 안정적 질서수 매개변수로의 경계 확장을 위해 잘라내기 추론 기법을 적용한다.
• 고차원 기하학과 행렬 농도 부등식을 결합한 이론적 분석을 통해 고확률 오차 보장을 확보한다.
• 이 방법은 ||ÃᵀB̃ − AᵀB|| ≤ ε||A|| ||B|| 를 고확률로 보장하며, 여기서 t ≪ n 이다.

실험 결과

연구 질문

• RQ1 입력 행렬의 안정적 질서수에만 의존하는 스펙트럴 노름 오차 경계를 갖는 행렬 곱셈의 효율적 근사화가 가능한가?
• RQ2 기존의 농도 도구는 어떻게 조정되어 행렬 스케칭에서 저질서수 의존 경계를 달성할 수 있는가?
• RQ3 어떤 새로운 행렬값 케르노프 부등식이 저질서수 설정에서 더 엄밀한 오차 제어를 가능하게 하는가?
• RQ4 행 샘플링과 무작위 선형 스케칭은 행렬 곱셈에서 오차와 안정성 측면에서 어떻게 비교되는가?
• RQ5 잘라내기 기법은 질서수 기반과 안정적 질서수 기반 오차 경계 간 격차를 메울 수 있는가?

주요 결과

• 제안된 방법은 t ≪ n 개의 스케칭 행을 사용하여 고확률로 스펙트럴 노름 근사 오차 ||ÃᵀB̃ − AᵀB|| ≤ ε||A|| ||B|| 를 달성한다.
• 안정적 질서수에 따라 결정되는 오차 경계를 가능하게 하는 새로운 저질서수 행렬값 케르노프 경계가 도출되었다.
• 이론적 보장은 입력 행렬 A와 B의 안정적 질서수에만 의존하므로, 저질서수 및 불안정한 조건의 행렬에 대해 강건하다.
• 잘라내기 기법의 사용으로 질서수 기반 농도 추론를 더 일반적인 안정적 질서수 설정으로 확장할 수 있다.
• 비균일 샘플링과 무작위 선형 스케칭 모두 동일한 안정적 질서수 조건 하에서 유사한 오차 경계를 제공한다.
• 결과적으로 안정적 질서수가 실질적인 행렬 스케칭에서 질서수보다 더 유의미한 복잡도 매개변수임을 보여준다.