[論文レビュー] Reconstructing undirected graphs from eigenspaces

Yohann de Castro, Thibault Espinasse+1 more|arXiv (Cornell University)|Mar 26, 2016

Markov Chains and Monte Carlo Methods参考文献 14被引用数 7

ひとこと要約

本稿は、推定された作用素と真の作用素の間の交換子のフロベニウスノルムに基づくバックワードセレクションアルゴリズムを用いて、隣接行列の摂動を受ける固有空間から無向重み付きグラフを再構成する新規な手法を提案する。エローズ＝レニー確率的グラフモデルにおいて、識別可能性の鋭い段階的転移が $ N\log N/2 $ の期待エッジ数で発生し、サポート回復に関する理論的保証と、シミュレートデータおよび実データにおける実証的検証が得られている。

ABSTRACT

In this paper, we aim at recovering an undirected weighted graph of $N$ vertices from the knowledge of a perturbed version of the eigenspaces of its adjacency matrix $W$. For instance, this situation arises for stationary signals on graphs or for Markov chains observed at random times. Our approach is based on minimizing a cost function given by the Frobenius norm of the commutator $\mathsf{A} \mathsf{B}-\mathsf{B} \mathsf{A}$ between symmetric matrices $\mathsf{A}$ and $\mathsf{B}$. In the Erdős-Rényi model with no self-loops, we show that identifiability (i.e., the ability to reconstruct $W$ from the knowledge of its eigenspaces) follows a sharp phase transition on the expected number of edges with threshold function $N\log N/2$. Given an estimation of the eigenspaces based on a $n$-sample, we provide support selection procedures from theoretical and practical point of views. In particular, when deleting an edge from the active support, our study unveils that our test statistic is the order of $\mathcal O(1/n)$ when we overestimate the true support and lower bounded by a positive constant when the estimated support is smaller than the true support. This feature leads to a powerful practical support estimation procedure. Simulated and real life numerical experiments assert our new methodology.

研究の動機と目的

• 固有空間の摂動版しか入手できない状況における無向重み付きグラフの再構成問題に取り組む。
• 特に確率的グラフモデルにおいて、グラフ構造が固有空間から識別可能となる条件を確立する。
• ノイズの多い固有空間データからエッジ集合（サポート）を回復するための実用的で理論的根拠を持つ推定手順を開発する。
• バックワードセレクションにおける経験的対照関数の振る舞いを分析し、真のサポートの過大評価と過小評価を区別する。
• 合成データおよび実世界のデータを用いた数値実験により、手法の妥当性を検証する。

提案手法

• 推定作用素 $ \widehat{\mathsf{K}} $ の固有空間に属する対称行列 $ \mathsf{A} $ を用い、交換子のフロベニウスノルム $ \|\mathsf{A}\widehat{\mathsf{K}} - \widehat{\mathsf{K}}\mathsf{A}\| $ に基づくコスト関数を最小化する。
• 初期に真のサポートのスーパーセットを想定し、経験的対照関数に基づいて反復的にエッジを削除するバックワードセレクションアルゴリズムを採用する。
• 理論的分析により、乗法性と摂動バウンドを用いて交換子ノルムをバウンドし、$ \|\mathsf{A}\widehat{\mathsf{K}} - \widehat{\mathsf{K}}\mathsf{A}\| $ を $ \|\widehat{\mathsf{K}} - \mathsf{K}\| $ と真の交換子 $ \|\mathsf{A}\mathsf{K} - \mathsf{K}\mathsf{A}\| $ に関連付ける。
• 過大評価（アクティブセットが真のサポートより大きい）と過小評価（アクティブセットが真のサポートより小さい）の状況を分けて、誤ったサポート回復の確率を制御する。
• 過大評価の場合、検定統計量は $ \mathcal{O}(1/n) $ である。過小評価の場合、正の定数で下から抑えられるため、真のサポートの検出が可能となる。
• スラツキーの補題と推定誤差下での設計行列の擬似逆行列の収束を用いて、推定量の漸近正規性を確立する。

実験結果

リサーチクエスチョン

• RQ1 無向グラフの隣接行列は、その固有空間からいつ識別可能となるか？
• RQ2 エローズ＝レニー確率的グラフモデルにおける識別可能性の閾値は何か？
• RQ3 推定サポートが真のエッジ集合を過大評価または過小評価する場合、経験的交換子ノルムはどのように振る舞うか？
• RQ4 交換子ノルムに基づくバックワードセレクション手順は、ノイズの多い固有空間推定から真のグラフ構造を信頼性高く回復できるか？
• RQ5 提案手法の推定量について、有限標本および漸近的性質（サポート回復と推定誤差の観点から）は何か？

主な発見

• エローズ＝レニーモデルにおいて、固有空間からのグラフ識別可能性は、$ N\log N/2 $ の期待エッジ数で鋭い段階的転移を示す。
• 推定サポートが真のサポートを過大評価する場合、経験的交換子ノルムは $ \mathcal{O}(1/n) $ のオーダーとなる。
• 推定サポートが真のサポートを過小評価する場合、経験的交換子ノルムは正の定数で下から抑えられるため、モデルの誤指定を検出可能となる。
• 正則化パrameter $ \lambda_n $ に適切な条件が満たされれば、誤ったサポート回復の確率は標本サイズとともに指数関数的に減少する。
• 提案されたバックワードセレクションアルゴリズムは、やや厳しい正則性条件のもとで一貫したサポート回復を達成でき、集中不等式と摂動バウンドを用いた理論的保証が得られている。
• シミュレーションおよび実データを用いた数値実験により、ノイズの多い固有空間情報からグラフ構造を回復する手法の有効性と頑健性が確認された。