[論文レビュー] Querying a Matrix Through Matrix-Vector Products

Xiaoming Sun, David P. Woodruff+2 more|arXiv (Cornell University)|Jan 1, 2019

Stochastic Gradient Optimization Techniques参考文献 37被引用数 3

ひとこと要約

本稿では、アルゴリズムが未知の行列 M を M·v_i の形の行列-ベクトル積でのみアクセスできる新しい計算モデルを導入し、線形代数、統計、グラフ理論の基本的問題を解くために必要なクエリ数を分析する。連結性や三角形検出といった問題に対して、Ω(n/log n) のクエリ下界を確立し、アダプティブクエリと片側クエリがクエリ複雑性に顕著な影響を与えることを示している。また、体の種別やグラフの行列表現による分離が明らかになった。

ABSTRACT

We consider algorithms with access to an unknown matrix $M\in\mathbb{F}^{n imes d}$ via matrix-vector products, namely, the algorithm chooses vectors $\mathbf{v}^1, \ldots, \mathbf{v}^q$, and observes $M\mathbf{v}^1,\ldots, M\mathbf{v}^q$. Here the $\mathbf{v}^i$ can be randomized as well as chosen adaptively as a function of $ M\mathbf{v}^1,\ldots,M\mathbf{v}^{i-1}$. Motivated by applications of sketching in distributed computation, linear algebra, and streaming models, as well as connections to areas such as communication complexity and property testing, we initiate the study of the number $q$ of queries needed to solve various fundamental problems. We study problems in three broad categories, including linear algebra, statistics problems, and graph problems. For example, we consider the number of queries required to approximate the rank, trace, maximum eigenvalue, and norms of a matrix $M$; to compute the AND/OR/Parity of each column or row of $M$, to decide whether there are identical columns or rows in $M$ or whether $M$ is symmetric, diagonal, or unitary; or to compute whether a graph defined by $M$ is connected or triangle-free. We also show separations for algorithms that are allowed to obtain matrix-vector products only by querying vectors on the right, versus algorithms that can query vectors on both the left and the right. We also show separations depending on the underlying field the matrix-vector product occurs in. For graph problems, we show separations depending on the form of the matrix (bipartite adjacency versus signed edge-vertex incidence matrix) to represent the graph. Surprisingly, this fundamental model does not appear to have been studied on its own, and we believe a thorough investigation of problems in this model would be beneficial to a number of different application areas.

研究の動機と目的

• 未知の行列 M に対して M·v のクエリしか利用できない状況下で、基本的問題を解くために必要な最小クエリ数を調査すること。
• アダプティビティ、体の選択、クエリの方向（左/右）がクエリ複雑性に与える影響を理解すること。
• 異なるモデル間の分離を確立すること：片側クエリ vs. 双方向クエリ、およびグラフの異なる行列表現。
• 本モデルをストリーミング、スケッチ、圧縮センシング、通信複雑性の応用と結びつけること。
• ランク近似、行列ノルム、グラフ連結性といった主要問題に対して、タイトな下界と上界を提供すること。

提案手法

• 本モデルでは、アダプティブで確率的なクエリ v_i を許容し、M が体 F 上の未知の行列であるとき、M·v_i へのアクセスが可能である。
• 下界の確立には、2人のプレイヤー間の通信複雑性問題（例：集合の互いに素、三角形数え上げ）への還元を用いる。
• 上界の確立には、スケッチおよびスパarsificationに関する既知の結果（例：[21] より）を用いて、効率的なクエリ戦略を構築する。
• 異なる行列表現（二部グラフ隣接行列、符号付きエッジ-頂点接続行列）を分析する。
• 理論的道具には、線形代数、スペクトルグラフ理論、グラフラプラシアンおよびスパーシファイアの性質を用いる。
• クエリ複雑性を比較することで、片側クエリ vs. 双方向クエリ、および異なる体の間で分離を証明する。

実験結果

リサーチクエスチョン

• RQ1 n×n 行列 M のランクを要因 t 以内に近似するには、最小で何回の行列-ベクトルクエリが必要か？
• RQ2 行列で表現されたグラフが連結であるか、または三角形を含むかを判定するには、何回のクエリが必要か？
• RQ3 片側クエリ（右乗算のみ）は、双方向クエリ（左乗算と右乗算）に比べて著しく弱いか？
• RQ4 体の種別（例：実数体 vs. 有限体）が、行列問題のクエリ複雑性に与える影響は何か？
• RQ5 本モデル下で、シュタットン-p ノルムのような行列ノルムを計算するクエリ複雑性は何か？

主な発見

• n×n 行列 M のランクを要因 t 以内に近似するには、正確に n/t + 1 回のクエリが必要であり、この下限は確率的およびアダプティブなアルゴリズムの両方でタイトである。
• 二部グラフ隣接行列を用いたグラフの連結性の判定には、定数の成功確率を持つ確率的アルゴリズムであっても、Ω(n/log n) 回のクエリが必要である。
• 隣接行列における三角形検出には、Ω(n/log n) 回のクエリが必要であり、これは2人プレイヤー通信複雑性における三角形数え上げ問題の下界と一致する。
• 同じグラフに対して、符号付きエッジ-頂点接続行列を用いることで、非アダプティブなクエリが多項式対数時間（polylog(n)）で連結性を判定可能であり、強い表現依存の分離を示している。
• クエリが右側（M·v）に制限されている場合と両側（u^T·M および M·v）で行える場合とで、クエリ複雑性が顕著に異なることが判明し、明確な分離が証明された。
• 本モデルは、体の選択（例：実数体 vs. 有限体）や行列表現（二部グラフ vs. 接続行列）によって、クエリ複雑性に指数的または多項式的差が生じ得ることを明らかにした。