[논문 리뷰] Vector-Matrix-Vector Queries for Solving Linear Algebra, Statistics, and Graph Problems

Cyrus Rashtchian, David P. Woodruff외 1명|arXiv (Cornell University)|2020. 06. 24.

Complexity and Algorithms in Graphs참고 문헌 42인용 수 8

한 줄 요약

이 논문은 선형 대수, 통계 및 그래프 문제를 효율적으로 해결하기 위한 통합 프레임워크로 벡터-행렬-벡터 (uᵀMv) 질의 모델을 도입한다. uᵀMv 질의가 표준 그래프 질의(예: 간선 존재 여부, 이웃, 컷, 간선 샘플링)를 오직 O(log n)의 오버헤드로 시뮬레이션할 수 있음을 보여주며, 이는 부분선형 질의 알고리즘을 통한 부분그래프 수 추정 및 전역 행렬 성질 해결에 가능하게 한다. 이로 인해 거의 날카로운 경계를 확보할 수 있다.

ABSTRACT

We consider the general problem of learning about a matrix through vector-matrix-vector queries. These queries provide the value of $\boldsymbol{u}^{\mathrm{T}}\boldsymbol{M}\boldsymbol{v}$ over a fixed field $\mathbb{F}$ for a specified pair of vectors $\boldsymbol{u},\boldsymbol{v} \in \mathbb{F}^n$. To motivate these queries, we observe that they generalize many previously studied models, such as independent set queries, cut queries, and standard graph queries. They also specialize the recently studied matrix-vector query model. Our work is exploratory and broad, and we provide new upper and lower bounds for a wide variety of problems, spanning linear algebra, statistics, and graphs. Many of our results are nearly tight, and we use diverse techniques from linear algebra, randomized algorithms, and communication complexity.

연구 동기 및 목표

• 그래프 및 행렬 문제에서의 간선 존재, 컷, 독립집합 질의와 같은 기존 모델을 일반화하고 통합하는 일반적인 질의 모델을 개발하는 것.
• 선형 대수, 통계 및 그래프 이론에서의 전역 문제 해결에 있어 uᵀMv 질의의 능력과 한계를 탐구하는 것.
• 이러한 영역의 다양한 문제들에 대해 질의 복잡도에 대한 거의 날카로운 상한 및 하한을 설정하는 것.
• uᵀMv 질의가 표준 그래프 질의를 O(log n)의 오버헤드로 시뮬레이션할 수 있음을 보여주어 효율적인 부분선형 알고리즘을 가능하게 하는 것.
• 현재 더 복잡하거나 고차원 질의가 필요한 문제들(예: 부분그래프 수 추정)을 해결하기 위해 uᵀMv 질의의 잠재력을 탐색하는 것.

제안 방법

• 논문은 각 질의가 주어진 벡터 u, v 및 행렬 M에 대해 체 F 상에서 uᵀMv를 반환하는 uᵀMv 질의 모델을 체계화한다.
• 표준 그래프 질의(예: 간선 존재 여부, 이웃, 컷, 간선 샘플링)를 uᵀMv 질의로의 환원을 수립하여, 각 질의가 O(log n)의 질의로 시뮬레이션될 수 있음을 보여준다.
• 저자들은 선형 대수, 무작위 알고리즘 및 통신 복잡도 기법을 사용하여 질의 효율적인 알고리즘을 유도한다.
• 부분그래프 수 추정을 위해 uᵀMv 질의를 기존의 부분그래프 추정 프레임워크와 융합하며, uᵀMv가 임의의 부분행렬 내 1의 개수를 계산할 수 있다는 사실을 활용한다.
• 그래프 G에 부분그래프 H의 복제본 수를 추정하기 위해 Õ(min{m, m^ρ(H)/#H})의 uᵀMv 질의가 필요하다는 것을 증명한다. 여기서 m은 간선 수이고, ρ(H)는 H의 분수 간선 커버이다.
• 통신 복잡도 기법을 사용하여 하한을 도출하며, 많은 결과들이 로그 인자 정도의 오차 범위 내에서 거의 최적임을 보여준다.

실험 결과

연구 질문

• RQ1 uᵀMv 질의 모델은 다양한 그래프 및 행렬 질의 모델을 통합하는 프레임워크로 기능할 수 있는가?
• RQ2 uᵀMv 질의는 간선 존재 여부, 이웃, 컷, 간선 샘플링과 같은 표준 그래프 질의를 얼마나 효율적으로 시뮬레이션할 수 있는가?
• RQ3 uᵀMv 질의를 사용하여 부분그래프 수(예: 삼각형)를 추정할 경우 질의 복잡도는 얼마인가?
• RQ4 낮은 랭크, 유니터리, 이중 스 tochastic 등의 전역 행렬 성질을 부분선형 uᵀMv 질의로 테스트할 수 있는가?
• RQ5 최소 컷 또는 부분그래프 수 추정과 같은 문제들에서 uᵀMv 질의는 기존 모델보다 질의 효율성 측면에서 뛰어나게 작용할 수 있는가?

주요 결과

• uᵀMv 질의는 간선 존재 여부, 이웃, 컷, 간선 샘플링 질의를 각각 O(log n)의 오버헤드로 시뮬레이션할 수 있다.
• 그래프 G에 부분그래프 H의 복제본 수를 추정하기 위해 필요한 uᵀMv 질의 수는 Õ(min{m, m^ρ(H)/#H})이며, 이는 표준 질의 모델에서 알려진 경계와 일치한다.
• 정점 i의 j번째 이웃을 추정하기 위해 O(log n)의 uᵀMv 질의로 충분하며, 이는 벡터 공간에서의 반복 이분법을 사용한다.
• 이 모델은 선형 대수, 통계 및 그래프 이론 분야의 문제들에 대해 거의 날카로운 질의 복잡도 경계를 제공하며, 일반적으로 알려진 하한과 로그 인자 정도의 오차 범위 내에서 일치한다.
• 논문은 uᵀMv 질의가 부분그래프 수 추정에서 국소 질의보다 더 강력하다는 것을 보여주며, 삼중집합 독립집합 질의와 같은 고차원 질의가 필요 없음을 확인한다.
• 이 프레임워크는 선형 대수, 무작위 알고리즘 및 통신 복잡도를 연결하는 새로운 이론적 시각을 제공하며, 질의 기반 계산의 새로운 방향을 열어준다.