[論文レビュー] Community models for partially observed networks from surveys

Tianxi Li, Elizaveta Levina+1 more|arXiv (Cornell University)|Aug 9, 2020

Complex Network Analysis Techniques参考文献 34被引用数 5

ひとこと要約

本論文は、アンケート調査に基づくサンプリングによる部分観測ネットワークにおけるコミュニティ検出のための一般化モデルを提案する。エッジのサンプリング確率を個々の好みとコミュニティ構造によってモデル化し、一貫性のあるスペクトルクラスタリングと、有向ネットワークにおけるパrametricなノミネーションスチュアティックブロックモデルを可能にする。理論的保証とモーメント法による効率的推定を備える。

ABSTRACT

Communities are a common and widely studied structure in networks, typically under the assumption that the network is fully and correctly observed. In practice, network data are often collected through sampling schemes such as surveys. These sampling mechanisms introduce noise and bias which can obscure the community structure and invalidate assumptions underlying standard community detection methods. We propose a general model for a class of network sampling mechanisms based on survey designs, designed to enable more accurate community detection for network data collected in this fashion. We model edge sampling probabilities as a function of both individual preferences and community parameters, and show community detection can be done by spectral clustering under this general class of models. We also propose, as a special case of the general framework, a parametric model for directed networks we call the nomination stochastic block model, which allows for meaningful parameter interpretations and can be fitted by the method of moments. Both spectral clustering and the method of moments in this case are computationally efficient and come with theoretical guarantees of consistency. We evaluate the proposed model in simulation studies on both unweighted and weighted networks and apply it to a faculty hiring dataset, discovering a meaningful hierarchy of communities among US business schools.

研究の動機と目的

• アンケート調査によって収集されたデータはバイアスとノイズを含むため、そのようなネットワークにおけるコミュニティ検出の課題に対処すること。
• 個々の好みとコミュニティ参加状況を関数としてエッジのサンプリング確率をモデル化する一般統計枠組みを構築すること。
• 標準的なコミュニティ検出手法の限界を克服し、アンケートサンプリング手法下でも一貫性のあるコミュニティ検出を可能にすること。
• 解釈可能なパrameterを備え、効率的な推定が可能な有向ネットワーク用のパrametricモデル（ノミネーションスチュアティックブロックモデル）を提案すること。
• 提案された枠組み下で、スペクトルクラスタリングとモーメント法推定の理論的整合性保証を提供すること。

提案手法

• 個々のレベルの好みとコミュニティ割り当てを関数としてエッジのサンプリング確率をモデル化し、アンケート回答行動の非均一性を捉える。
• アンケート設計からのサンプリングメカニズムを含む一般化されたネットワークサンプリングモデルを定式化し、スチュアティックブロックモデルを拡張する。
• 提案されたモデル下で観測されたサンプルネットワークに対してスペクトルクラスタリングを適用し、やや弱い正則性条件の下で一貫性を証明する。
• 有向ネットワークの特別なケースとしてノミネーションスチュアティックブロックモデルを提案し、解釈可能なパrameter推定を可能にする。
• モーメント法を用いてモデルパラメータを効率的に推定し、理論的整合性保証を提供する。
• スペクトルクラスタリングとモーメント法を統合した統一枠組みを構築し、アンケートサンプリングネットワークにおけるコミュニティ検出を実現する。

実験結果

リサーチクエスチョン

• RQ1 アンケート調査によるデータ収集はバイアスと欠落エッジを引き起こすが、このような状況下でどのようにして信頼性のあるコミュニティ検出を実現できるか？
• RQ2 個々の好みとコミュニティ構造の両方に依存するエッジのサンプリング確率を、統計的に整合的な方法でモデル化するにはどうすればよいか？
• RQ3 この一般クラスのネットワークサンプリングモデル下でも、スペクトルクラスタリングは一貫性を保つことができるか？
• RQ4 解釈可能なパラメータと効率的推定を可能にする有向ネットワーク用のパラメトリックモデルをどのように構築できるか？
• RQ5 アンケートサンプリングメカニズム下で、提案された推定手法の理論的整合性特性は何か？

主な発見

• 提案されたモデルにより、一般化されたアンケートベースのサンプリングメカニズム下でも、スペクトルクラスタリングによる一貫性のあるコミュニティ検出が可能である。
• ノミネーションスチュアティックブロックモデルは、有向ネットワークに対してパラメトリックで解釈可能な枠組みを提供し、モーメント法による効率的推定を可能にする。
• ノミネーションスチュアティックブロックモデルのモーメント法推定器は、提案されたサンプリングモデル下で一貫性を示す。
• シミュレーションスタディにより、さまざまなサンプリングスキーム下で、重みなしおよび重み付きネットワークの両方において正確なコミュニティ回復が確認された。
• 教員採用データセットへの応用により、米国のビジネススクール間に意味のある階層的構造が明らかになり、モデルの実務的有用性が裏付けられた。
• 理論的分析により、提案されたモデル仮定下で、スペクトルクラスタリングとモーメント法推定の両方が一貫性を示すことが確認された。