[論文レビュー] Learning Communities in the Presence of Errors

Konstantin Makarychev, Yury Makarychev+1 more|arXiv (Cornell University)|Nov 10, 2015

Machine Learning and Algorithms参考文献 48被引用数 8

ひとこと要約

本稿は、敵対的モデリング誤差（Feige–Kilian単調誤差およびエッジアウリヤー摂動を含む）が生じる場合のストーキアスティックブロックモデル（SBM）におけるロバストな部分的回復の多項式時間アルゴリズムを提示する。Mosselらが提起した未解決問題に肯定的に応えるものであり、$o(n)$の敵対的エッジ追加があっても、$k>2$コミュニティの場合にほぼ正確な回復が可能であることを示し、Kullback–Leibler発散の観点からSBMに近い分布に対しても保証を拡張する。

ABSTRACT

We study the problem of learning communities in the presence of modeling errors and give robust recovery algorithms for the Stochastic Block Model (SBM). This model, which is also known as the Planted Partition Model, is widely used for community detection and graph partitioning in various fields, including machine learning, statistics, and social sciences. Many algorithms exist for learning communities in the Stochastic Block Model, but they do not work well in the presence of errors. In this paper, we initiate the study of robust algorithms for partial recovery in SBM with modeling errors or noise. We consider graphs generated according to the Stochastic Block Model and then modified by an adversary. We allow two types of adversarial errors, Feige---Kilian or monotone errors, and edge outlier errors. Mossel, Neeman and Sly (STOC 2015) posed an open question about whether an almost exact recovery is possible when the adversary is allowed to add $o(n)$ edges. Our work answers this question affirmatively even in the case of $k>2$ communities. We then show that our algorithms work not only when the instances come from SBM, but also work when the instances come from any distribution of graphs that is $εm$ close to SBM in the Kullback---Leibler divergence. This result also works in the presence of adversarial errors. Finally, we present almost tight lower bounds for two communities.

研究の動機と目的

• エッジの追加や削除などの敵対的モデリング誤差下で、既存のSBMアルゴリズムに見られるロバスト性の欠如に対処する。
• ノイズによって正確なSBMから逸脱する場合でも、部分的回復を達成できる多項式時間アルゴリズムを提供する。
• Mossel, Neeman, and Sly (2015)が提起した未解決問題に答える：敵対的アドバーシャリーが $o(n)$ エッジを追加する場合に、ほぼ正確な回復が可能かどうか。
• 正確なSBMのインスタンスを超えて、SBMからの$\varepsilon m$ KL発散内にある分布に対しても回復保証を拡張する。
• 二コミュニティの場合の情報理論的限界を特定し、敵対的ノイズ下での部分的回復の限界を同定する。

提案手法

• 二つの多項式時間アルゴリズムを提案：一つはアウリヤーおよび単調誤差に対してロバストなスペクトルクラスタリングに基づくもの、もう一つは二段階のリファインメントプロセスを用いるもの。
• 局所的な密度と接続性に基づいてエッジをしきい値処理する修正スペクトルクラスタリング手法を用い、敵対的摂動に対してもクラスタを回復する。
• 集中不等式を活用して、敵対的エッジ変更下での失敗確率を束縛する確率的解析フレームワークを適用する。
• KL発散と誤差確率の関係を示す重要な補題を導入し、SBMに近い分布に対するロバスト性を可能にする。
• 回復されたパーティションが真のプラントパーティションと $\delta$-近傍にあることを保証するため、置換不変クラスタリング戦略を採用する。
• 対数和不等式およびKL発散の束縛を活用し、最悪ケースの敵対的汚染下での回復成功に関する確率的保証を導出する。

実験結果

リサーチクエスチョン

• RQ1 敵対的攻撃によって $o(n)$ エッジが追加された場合に、SBMにおける部分的回復を多項式時間で達成できるか。
• RQ2 コミュニティ検出アルゴリズムは、Feige–Kilian単調誤差（内部エッジの追加、外部エッジの削除）に対してどれほどロバストか。
• RQ3 SBMからのKL発散が $\varepsilon m$ 以内の分布から生成されたグラフに対しても、回復保証を拡張できるか。
• RQ4 二コミュニティSBMにおける部分的回復の情報理論的限界は何か、敵対的ノイズ下で。
• RQ5 正確な回復が情報理論的に不可能であっても、敵対的モデリング誤差下でほぼ正確な回復が達成可能か。

主な発見

• 本稿はMosselらの未解決問題に肯定的に応える：$k>2$コミュニティの場合でさえ、敵対的アドバーシャリーが $o(n)$ エッジを追加しても、ほぼ正確な回復が可能である。
• 条件 $\frac{\sqrt{a+b(k-1)}}{a-b} + \frac{\varepsilon(a+b(k-1))}{a-b} \leq c/k$ を満たす限り、アルゴリズムは高確率で $\delta = 1/(10k)$-近傍の部分的回復を達成する。
• アルゴリズムはSBMからのKL発散が $\varepsilon m$ 以内の分布に対してもロバストであり、正確なSBMインスタンスを超えて適用範囲を拡張する。
• 二コミュニティの場合にタイトな下界を確立し、回復閾値がほぼ最適であることを示した。
• アルゴリズムの失敗確率は $\tau + \exp(-\delta_0 kn/6)$ で束縛され、敵対的ノイズ下でも高確率での回復を示している。
• 理論的解析ではKL発散の束縛と、誤差確率と分布間発散の関係を示すために、対数和不等式の新規応用が行われた。