[論文レビュー] Universal Rank Inference via Residual Subsampling with Application to Large Networks

Xiao Han, Qing Yang+1 more|arXiv (Cornell University)|Dec 25, 2019

Random Matrices and Applications参考文献 23被引用数 6

ひとこと要約

本稿では、大きな行列のランク $ K_0 $ が正しいという帰無仮説を、スプライク成分を除去した残差行列のエントリを部分的に抽出することで検証する普遍的なランク推定手法、Residual Subsampling for Rank Selection (RIRS) を提案する。検定統計量は帰無仮説の下で漸近的に標準正規分布に従い、対立仮説の下では発散するため、理論的保証のもとで、SBM、DCSBM、DCMM といった多様なネットワークモデルにおいて一貫したランク推定が可能である。

ABSTRACT

Determining the precise rank is an important problem in many large-scale applications with matrix data exploiting low-rank plus noise models. In this paper, we suggest a universal approach to rank inference via residual subsampling (RIRS) for testing and estimating rank in a wide family of models, including many popularly used network models such as the degree corrected mixed membership model as a special case. Our procedure constructs a test statistic via subsampling entries of the residual matrix after extracting the spiked components. The test statistic converges in distribution to the standard normal under the null hypothesis, and diverges to infinity with asymptotic probability one under the alternative hypothesis. The effectiveness of RIRS procedure is justified theoretically, utilizing the asymptotic expansions of eigenvectors and eigenvalues for large random matrices recently developed in [11] and [12]. The advantages of the newly suggested procedure are demonstrated through several simulation and real data examples.

研究の動機と目的

• 大規模な行列データ、特に真のランクが通常未知であるネットワーク応用分野におけるランク推定という重要な課題に取り組むこと。
• SBM や DCSBM、DCMM といった代表的なネットワークモデルを含む、広範な低ランク＋ノイズモデルに適用可能な、普遍的かつモデルに依存しないランク推定手法を開発すること。
• $ H_0: K = K_0 $ 対 $ H_1: K > K_0 $ の統計的有意な仮説検定を提供し、適切な漸近的分布理論を確立すること。
• スプライク成分の推定誤差に起因する残差行列のエントリ間に相関が生じる状況でも、手法の有効性を保証すること。
• 逐次的仮説検定を用いて、帰無仮説が棄却されない最小の $ K_0 $ として真のランク $ K $ を推定すること。

提案手法

• 手法は、推定されたスプライク成分（つまり、上位 $ K_0 $ 個の固有成分）を除去した後に得られる残差行列のエントリを部分的に抽出することで検定統計量を構築する。
• 検定統計量は、最近の確率的行列理論における固有ベクトルおよび固有値の漸近的展開を活用することで、帰無仮説 $ H_0: K = K_0 $ の下で標準正規分布に収束するように設計されている。
• 対立仮説 $ H_1: K > K_0 $ の下では、残差行列にスプライク構造が残存するため、検定統計量は確率1に近づいて無限大に発散する。
• 推定誤差と抽出エントリ間の依存性のバランスを取るために、注意深く設計された部分抽出スキームが開発されている。これにより、漸近的正規性が保証される。
• 逐次的仮説検定フレームワークを用いる： $ K_0 = 1, 2, dots, K_{ ext{max}} $ に対して $ H_0: K = K_0 $ を検定し、帰無仮説が棄却されない最初の $ K_0 $ を真のランク $ K $ の推定値とする。
• 対角成分が非ゼロ（例：ネットワークにおける自己ループ）の場合には、検定統計量を単純化するための決定論的抽出スキームも併せて提供されている。

実験結果

リサーチクエスチョン

• RQ1 低ランク＋ノイズ構造を示す大規模な行列データに対して、普遍的かつモデルに依存しないランク推定手法を開発することは可能か？
• RQ2 残差行列のエントリ間に相関がある状況下でも、残差の部分抽出によって得られる検定統計量が、帰無仮説 $ H_0: K = K_0 $ の下で標準正規分布に収束するか？
• RQ3 対立仮説 $ H_1: K > K_0 $ の下で、検定統計量が無限大に発散するか？これにより一貫したランク推定が可能か？
• RQ4 漸近的正規性を維持しながら推定誤差と依存性を最小限に抑えるために、抽出エントリ数をどのように選ぶべきか？
• RQ5 本手法は、SBM、DCSBM、MM、DCMM といった実世界のネットワークモデルにどの程度適用可能か？

主な発見

• RIRS の検定統計量は、帰無仮説 $ H_0: K = K_0 $ の下で標準正規分布に収束するため、有意水準の制御が有効に保証される。
• 対立仮説 $ H_1: K > K_0 $ の下では、検定統計量は漸近的確率1で無限大に発散するため、余分なランクの検出が一貫して可能である。
• 大規模な確率的行列の固有ベクトルおよび固有値の漸近的展開に基づく理論的裏付けがなされており、[8] および [9] の結果に依拠している。
• 逐次的に $ H_0: K = K_0 $ を検定し、帰無仮説が棄却されない最小の $ K_0 $ を選択することで、一貫したランク推定が達成される。
• 本手法は、ストークス・ブロック・モデル（SBM）、次数補正付きストークス・ブロック・モデル（DCSBM）、混合メンバーシップ（MM）、および次数補正付き混合メンバーシップ（DCMM）モデルを含む広範なネットワークモデルに適用可能である。
• 実験的およびシミュレーション研究により、相関のある残差エントリや非 i.i.d. ノイズ成分を伴う状況を含め、多様な設定において本手法の有効性が示されている。