[논문 리뷰] Querying a Matrix Through Matrix-Vector Products

Xiaoming Sun, David P. Woodruff외 2명|arXiv (Cornell University)|2019. 01. 01.

Stochastic Gradient Optimization Techniques참고 문헌 37인용 수 3

한 줄 요약

이 논문은 알고리즘이 알려지지 않은 행렬 M에 대해 오직 M·v_i 형태의 행렬-벡터 곱을 통해만 액세스할 수 있는 새로운 계산 모델을 제안하며, 선형 대수학, 통계학 및 그래프 이론의 기본 문제를 해결하기 위해 필요한 쿼리 수를 분석한다. 연결성 및 삼각형 탐지와 같은 문제들에 대해 Ω(n/log n) 쿼리의 날카로운 하한을 확립함으로써, 적응형 쿼리와 한쪽 방향 쿼리가 쿼리 복잡도에 미치는 영향을 입증하고, 필드 유형과 그래프의 행렬 표현 방식에 따른 분리 현상도 드러낸다.

ABSTRACT

We consider algorithms with access to an unknown matrix $M\in\mathbb{F}^{n imes d}$ via matrix-vector products, namely, the algorithm chooses vectors $\mathbf{v}^1, \ldots, \mathbf{v}^q$, and observes $M\mathbf{v}^1,\ldots, M\mathbf{v}^q$. Here the $\mathbf{v}^i$ can be randomized as well as chosen adaptively as a function of $ M\mathbf{v}^1,\ldots,M\mathbf{v}^{i-1}$. Motivated by applications of sketching in distributed computation, linear algebra, and streaming models, as well as connections to areas such as communication complexity and property testing, we initiate the study of the number $q$ of queries needed to solve various fundamental problems. We study problems in three broad categories, including linear algebra, statistics problems, and graph problems. For example, we consider the number of queries required to approximate the rank, trace, maximum eigenvalue, and norms of a matrix $M$; to compute the AND/OR/Parity of each column or row of $M$, to decide whether there are identical columns or rows in $M$ or whether $M$ is symmetric, diagonal, or unitary; or to compute whether a graph defined by $M$ is connected or triangle-free. We also show separations for algorithms that are allowed to obtain matrix-vector products only by querying vectors on the right, versus algorithms that can query vectors on both the left and the right. We also show separations depending on the underlying field the matrix-vector product occurs in. For graph problems, we show separations depending on the form of the matrix (bipartite adjacency versus signed edge-vertex incidence matrix) to represent the graph. Surprisingly, this fundamental model does not appear to have been studied on its own, and we believe a thorough investigation of problems in this model would be beneficial to a number of different application areas.

연구 동기 및 목표

• 오직 M·v 쿼리만 가능할 때 기본 문제를 해결하기 위해 필요한 최소 행렬-벡터 쿼리 수를 연구하기.
• 적응성, 필드 선택, 쿼리 방향(좌/우)이 쿼리 복잡도에 미치는 영향을 이해하기.
• 다양한 모델 간의 분리 현상을 확립하기: 한쪽 방향 쿼리 대비 양쪽 방향 쿼리, 그리고 그래프의 다양한 행렬 표현 방식.
• 이 모델을 스트리밍, 스케치, 압축 감지 및 복잡도 이론 등에 응용할 수 있도록 연결하기.
• 랭크 근사, 행렬 노름, 그래프 연결성과 같은 핵심 문제에 대해 날카로운 하한 및 상한을 제공하기.

제안 방법

• 모델은 적응형, 랜덤화된 쿼리 v_i를 允허하며, 필드 F 상의 알려지지 않은 행렬 M에 대해 M·v_i 접근을 허용한다.
• 하한을 확립하기 위해, 문제들을 두 플레이어 간의 통신 복잡도 문제(예: 집합의 공통 원소 없음, 삼각형 수 계산)로 환원한다.
• 상한을 확립하기 위해, 스케칭 및 희소화 기법(예: [21] 참조)의 기존 결과를 활용하여 효율적인 쿼리 전략을 구성한다.
• 다양한 행렬 표현 방식을 분석: 그래프의 이분 인cidience 행렬과 부호가 있는 간선-정점 인cidience 행렬.
• 이론적 도구로 선형 대수학, 스펙트럴 그래프 이론, 그래프 라플라시안 및 희소화 기법의 성질을 사용한다.
• 다양한 모델 간의 쿼리 복잡도를 비교함으로써 분리 현상을 입증한다: 한쪽 방향 대비 양쪽 방향 쿼리, 다양한 필드.

실험 결과

연구 질문

• RQ1 n×n 행렬 M의 랭크를 인자 t 범위 내에서 근사하기 위해 필요한 최소 행렬-벡터 쿼리 수는 얼마인가?
• RQ2 행렬로 표현된 그래프가 연결되어 있거나 삼각형을 포함하고 있는지를 판단하기 위해 필요한 쿼리 수는 얼마인가?
• RQ3 오직 오른쪽 곱셈(M·v)만 가능한 한쪽 방향 쿼리가 양쪽 방향 쿼리(M·v 및 u^T·M)보다 유의미하게 덜 강력한가?
• RQ4 기초 필드(예: 실수체 대비 유한체)의 선택이 행렬 문제의 쿼리 복잡도에 어떤 영향을 미치는가?
• RQ5 이 모델 하에서 슈atten-p 노름과 같은 행렬 노름을 계산하는 데 필요한 쿼리 복잡도는 얼마인가?

주요 결과

• n×n 행렬 M의 랭크를 인자 t 범위 내에서 근사하기 위해 정확히 n/t + 1개의 쿼리가 필요하며, 이 하한은 랜덤화 및 적응형 알고리즘 모두에 대해 날카롭다.
• 이분 인cidience 행렬을 사용해 그래프의 연결성을 판단하기 위해선 Ω(n/log n) 쿼리가 필요하며, 이는 상수 성공 확률을 갖는 랜덤화 알고리즘에게도 적용된다.
• 인cidience 행렬에서 삼각형 탐지를 수행하기 위해선 Ω(n/log n) 쿼리가 필요하며, 이는 삼각형 수 계산의 2플레이어 통신 복잡도 하한과 일치한다.
• 동일한 그래프에 대해, 부호가 있는 간선-정점 인cidience 행렬을 사용할 경우 연결성은 다항로그(n) 이내의 비적응형 쿼리로 결정 가능하여, 강력한 표현 방식에 의존하는 분리 현상을 보여준다.
• 쿼리가 오직 오른쪽(M·v)에만 제한되는지, 아니면 양쪽(M·v 및 u^T·M)에 모두 가능하냐에 따라 쿼리 복잡도가 상당히 다름을 입증하여 명백한 분리 현상을 보여준다.
• 이 모델은 필드 선택(예: 실수체 대비 유한체)과 행렬 표현 방식(이분 인cidience 대비 인cidience 행렬)이 쿼리 복잡도에 지수적 또는 다항식적 차이를 초래할 수 있음을 드러낸다.