[論文レビュー] Comparison of Cross-Validation Methods for Stochastic Block Models

Beau Dabbs, Brian W. Junker|arXiv (Cornell University)|May 10, 2016

Complex Network Analysis Techniques参考文献 22被引用数 10

ひとこと要約

この論文は、ノード間の折り畳み割り当てをバランスさせながらエッジを直接折り畳みに割り当てるように設計された、stochastic block models (SBMs) のための新しい交差検証手法 latinCV を導入する。latinCV は、過学習を著しく軽減し、特にブロック構造が多様な小規模〜中規模ネットワークにおいて真のモデル回復精度を向上させることで、従来の手法（ネットワーク交差検証（NCV）、AIC、BIC、モジュラリティ最大化、infomap）を上回る。

ABSTRACT

We introduce a novel cross-validation method that we call latinCV and we compare this method to other model selection methods using data generated from a stochastic block model. Comparing latinCV to other cross-validation methods, we show that latinCV performs similarly to a method described in \cite{hoff2008modeling} and that latinCV has a significantly larger true model recovery accuracy than the NCV method of \cite{chen2014network}. We also show that the reason for this discrepancy is related to the larger variance of the NCV estimate. Comparing latinCV to alternative model selection methods, we show that latinCV performs better than information criteria AIC and BIC, as well as the community detection method infomap and a routine that attempts to maximize modularity. The simulation study in this paper includes a range of network sizes and generative parameters for the stochastic block model that allow us to examine the relationship between model selection accuracy and the size and complexity of the model. Overall, latinCV performs more accurate model selection, and avoids overfitting better than any of the other model selection methods considered.

研究の動機と目的

• ネットワークデータにおけるstochastic block models (SBMs) のための有効なモデル選択手法の不足に対処すること。
• 新しく提案された手法 latinCV を含む、さまざまな交差検証手法の性能を評価・比較すること。
• 折り畳み割り当て戦略が SBMs におけるモデル選択精度とリスク推定に与える影響を評価すること。
• 交差検証手法を、AIC、BIC、モジュラリティ最大化、infomap などの代替モデル選択手順と比較すること。
• 最適な折り畳み数と、バランスの取れた折り畳み割り当てがモデル回復精度を向上させる役割を特定すること。

提案手法

• ノードの参加度を折り畳み間でバランスさせる一方でエッジを折り畳みに割り当てる V-折り畳み交差検証手法である latinCV を提案。これにより、各ノードのエッジインジケータが均等に分散される。
• 各エッジ Y_ij を折り畳み t にマッピングするための折り畳み割り当て行列 A を使用。これにより、Y_ij と同じ折り畳みに属さないすべてのエッジを訓練に使用できる。
• 損失関数 L を用いて予測リスクを推定。全折り畳みにわたって、予測されたつながり確率 p̂_ij^CV と観測されたエッジインジケータ Y_ij の間の経験的損失の平均を取る。
• 損失関数 L(Y_ij, p̂_ij^CV) を用いて平均予測リスクを計算。モデル選択における平均二乗誤差の最小化を目的とする。
• latinCV をランダムCV（ランダムなエッジ割り当て）、NCV（ノードベースの折り畳み割り当て）および AIC、BIC、モジュラリティ最大化、infomap などの代替手法と比較。
• ネットワークサイズ（30、60 ノード）と SBM パラメータを変化させたシミュレーションスタディを用いて、モデル回復精度とリスク推定を評価。

実験結果

リサーチクエスチョン

• RQ1 stochastic block models におけるモデル選択精度という観点から、latinCV は NCV や randomCV といった既存の交差検証手法と比べてどのように異なるか？
• RQ2 特にノードのバランスとエッジ割り当てが、予測リスク推定とモデル回復に与える影響は何か？
• RQ3 従来の情報量基準（AIC、BIC）およびコミュニティ検出手法（モジュラリティ最大化、infomap）は、交差検証手法と比較して真の SBM 構造を回復する上でどのように性能を発揮するか？
• RQ4 折り畳み数を増やす（例：10 に）ことで、latinCV と randomCV のモデル選択精度が向上するか？また、V ≥ 10 の場合、折り畳みのバランスは必要ないか？
• RQ5 NCV が latinCV よりも高い分散と劣った性能を示す理由は何か？この影響はモデル選択精度にどのように現れるか？

主な発見

• latinCV は、主に NCV がリスク推定において高い分散を示すため、NCV よりも顕著に高い真のモデル回復精度を達成する。
• 30 ノードのネットワークから 60 ノードのネットワークまで、あらゆるネットワークサイズとブロック構成において、latinCV は AIC、BIC、モジュラリティ最大化、infomap よりも優れた性能を示す。
• 30 ノードのネットワークでは、4 ブロックモデルでは 45 回の試行のうち真のモデルが 8 回選択された（18%）、5 ブロックモデルでも同様に 8 回選択された。これは、MSE の最小化が不十分であることを示している。
• 60 ノードのネットワークでは、5 ブロックモデルで真のモデルが 45 回中 7 回選択され、4 ブロックモデルでは 6 回選択された。これにより、モジュラリティ最大化が過学習をしやすい傾向にあることがさらに裏付けられた。
• 真のモデルに複数のブロックがある場合、BIC は latinCV と同等の性能を示したが、ネットワークが大きくなると過学習が顕著に増加した。これは、事前漸近的状況（pre-asymptotic settings）では BIC の仕様が不適切である可能性を示唆している。
• 10 以上の折り畳みを使用する場合、latinCV と randomCV は同等の性能を示した。これは、十分な数の折り畳みがある場合には折り畳みのバランスがそれほど重要ではなく、エッジベースの割り当てで十分に正確なリスク推定が可能であることを示している。