[論文レビュー] Rates of Convergence of Spectral Methods for Graphon Estimation

Jiaming Xu|arXiv (Cornell University)|Sep 10, 2017

Complex Network Analysis Techniques被引用数 16

ひとこと要約

本稿は、スパースなネットワークにおけるグラフオン推定のための普遍的特異値しきい値処理（USVT）アルゴリズムを分析し、 Hölder やソボレフ滑らかさを持つグラフオンに対して、平均二乗誤差が $(n\rho)^{-2\alpha/(2\alpha+d)}$ のレートで収束することを示している。滑らかさ指数 $\alpha$ が増加するにつれて、特に $d=1$ の場合、このレートは最小最大最適レート $\log(n\rho)/(n\rho)$ に近づき、解析的グラフオンに対しては $\log^d(n\rho)/(n\rho)$ のレートを達成する。

ABSTRACT

This paper studies the problem of estimating the grahpon model - the underlying generating mechanism of a network. Graphon estimation arises in many applications such as predicting missing links in networks and learning user preferences in recommender systems. The graphon model deals with a random graph of $n$ vertices such that each pair of two vertices $i$ and $j$ are connected independently with probability $ρ imes f(x_i,x_j)$, where $x_i$ is the unknown $d$-dimensional label of vertex $i$, $f$ is an unknown symmetric function, and $ρ$ is a scaling parameter characterizing the graph sparsity. Recent studies have identified the minimax error rate of estimating the graphon from a single realization of the random graph. However, there exists a wide gap between the known error rates of computationally efficient estimation procedures and the minimax optimal error rate. Here we analyze a spectral method, namely universal singular value thresholding (USVT) algorithm, in the relatively sparse regime with the average vertex degree $nρ=Ω(\log n)$. When $f$ belongs to Hölder or Sobolev space with smoothness index $α$, we show the error rate of USVT is at most $(nρ)^{ -2 α/ (2α+d)}$, approaching the minimax optimal error rate $\log (nρ)/(nρ)$ for $d=1$ as $α$ increases. Furthermore, when $f$ is analytic, we show the error rate of USVT is at most $\log^d (nρ)/(nρ)$. In the special case of stochastic block model with $k$ blocks, the error rate of USVT is at most $k/(nρ)$, which is larger than the minimax optimal error rate by at most a multiplicative factor $k/\log k$. This coincides with the computational gap observed for community detection. A key step of our analysis is to derive the eigenvalue decaying rate of the edge probability matrix using piecewise polynomial approximations of the graphon function $f$.

研究の動機と目的

• 計算的に効率的なグラフオン推定手法と最小最大最適誤差率との間のギャップを埋める。
• スパースな状態 $n\rho = \Omega(\log n)$ における普遍的特異値しきい値処理（USVT）アルゴリズムの収束レートを分析すること。
• グラフオン関数 $f$ が滑らかさ指数 $\alpha$ を持つ Hölder もしくはソボレフ空間に属する場合の USVT の誤差レートを特徴づけること。
• $k$ ブロックをもつ確率的ブロックモデルにおける USVT の性能を、最小最大最適レートと比較して調査すること。
• グラフオン関数 $f$ の区分的多項式近似を用いて、エッジ確率行列の固有値の減衰レートを導出すること。

提案手法

• 観測された隣接行列 $A$ の部分的なエッジ観測から、エッジ確率行列 $M$ を推定するために USVT アルゴリズムを適用する。
• 観測された隣接行列の固有値分解を用い、特異値しきい値処理により $M$ の低ランク構造を推定する。
• グラフオン関数 $f$ の区分的多項式近似を用いて、対応する作用素 $\mathcal{T}$ の固有値の減衰レートを導出する。
• 固有値の減衰と集中不等式を用いて、推定誤差の期待平方フロベニウスノルム $\mathbb{E}[\|M - \widehat{M}\|_F^2]$ の上限を確立する。
• 固有値の減衰に関する理論的結果を応用し、$f$ における異なる滑らかさ仮定の下で USVT の収束レートを導出する。
• 翻訳不変およびソボレフグラフオンにおけるシミュレーションを通じて理論的結果を検証し、$\log(n\rho)$ をスケーリングした後、予測されたレートと一致することを示す。

実験結果

リサーチクエスチョン

• RQ1 スパース状態 $n\rho = \Omega(\log n)$ における USVT アルゴリズムのグラフオン推定の収束レートは何か？
• RQ2 関数 $f$ が Hölder もしくはソボレフ空間に属する場合、USVT の誤差レートは最小最大最適レートにどの程度近いか？
• RQ3 $k$ ブロックをもつ確率的ブロックモデルにおいて、USVT と最小最大最適レートとの間の性能ギャップは何か？
• RQ4 グラフオン関数 $f$ の滑らかさが USVT の収束レートにどのように影響するか？
• RQ5 関数 $f$ の区分的多項式近似を用いて、エッジ確率行列の固有値の減衰レートをタイトに束縛できるか？

主な発見

• 滑らかさ指数 $\alpha$ と潜在次元 $d$ を持つ Hölder もしくはソボレフ空間に属するグラフオンに対して、USVT の誤差レートは最大で $(n\rho)^{-2\alpha/(2\alpha+d)}$ である。
• 特に $d=1$ の場合、$\alpha \to \infty$ に近づくにつれて、このレートは最小最大最適レート $\log(n\rho)/(n\rho)$ に近づき、滑らかな関数に対して近似的に最適であることを示している。
• 解析的グラフオンに対しては、USVT の誤差レートは最大で $\log^d(n\rho)/(n\rho)$ であり、滑らかな領域における最小最大レートに近く、近似が良い。
• $k$ ブロックをもつ確率的ブロックモデルでは、USVT の誤差レートは最大で $k/(n\rho)$ であり、最小最大最適レートに対して乗法的ギャップ $k/\log k$ を示している。
• シミュレーションにより理論的レートが確認された：$\alpha=1, d=1$ の場合、$\log(n\rho)$ を横軸にとって対数-対数スケールでプロットすると、MSE は傾き約 $3/4$ の直線に従い、予測された $(n\rho)^{-3/4}$ レートと一致する。
• 区分的多項式近似を用いて、作用素 $\mathcal{T}$ の固有値の減衰レートがタイトに束縛され、これにより USVT の収束レートの導出が可能になった。