[論文レビュー] Overlapping Clustering Models, and One (class) SVM to Bind Them All

Xueyu Mao, Purnamrita Sarkar+1 more|arXiv (Cornell University)|Jun 18, 2018

Complex Network Analysis Techniques参考文献 34被引用数 14

ひとこと要約

本稿では、データポイントがコーン内に存在するモデル（例えば、混合所属ステージティック・ブロックモデル、トピックモデル、次数補正付きネットワークモデルなど）におけるコミュニティ所属を推定するために、1クラスSVMを用いたスケーラブルで証明可能に一貫性のある重複クラスタリング手法、SVM-coneを提案する。この手法は、正規化と単位球面上でのサポートベクタ検出により、誤差拡大を回避することで、従来の単体ベースの手法を凌駕する。

ABSTRACT

People belong to multiple communities, words belong to multiple topics, and books cover multiple genres; overlapping clusters are commonplace. Many existing overlapping clustering methods model each person (or word, or book) as a non-negative weighted combination of "exemplars" who belong solely to one community, with some small noise. Geometrically, each person is a point on a cone whose corners are these exemplars. This basic form encompasses the widely used Mixed Membership Stochastic Blockmodel of networks (Airoldi et al., 2008) and its degree-corrected variants (Jin et al., 2017), as well as topic models such as LDA (Blei et al., 2003). We show that a simple one-class SVM yields provably consistent parameter inference for all such models, and scales to large datasets. Experimental results on several simulated and real datasets show our algorithm (called SVM-cone) is both accurate and scalable.

研究の動機と目的

• 既存の重複クラスタリング手法が単体への脆弱な射影に依存し、誤差拡大に敏感であるという限界を是正すること。
• トピックモデルやネットワークブロックモデルなど、多様な重複クラスタリングモデルを、コーン構造に基づく共通の幾何的フレームワークで統一すること。
• 非負で非対称な重みを持つ重複モデルにおけるコミュニティ所属の推定に関して、スケーラブルで統計的に一貫性のある推論手法を開発すること。
• ノイズや汚損がある状況下でも、1クラスSVMがコーンのコーナー線（純粋な例示点）を信頼性高く同定できることを示すこと。

提案手法

• すべての重複クラスタリング問題を、理想の点がコーンのコーナーにある「例示点」ノードの凸結合として表現される非負のコーン内に存在するデータポイントとしてモデル化する。
• 幾何的推論を安定化させ、単体への不良な射影による誤差拡大を回避するため、データポイントを単位球面に正規化する。
• コーンのコーナー線に対応するサポートベクタを検出するために1クラスSVMを適用し、純粋な例示点を同定する。
• 同定された例示点を用いて回帰により所属重みを推定し、一貫性のある重複クラスタ所属の推定を可能にする。
• 1クラスSVMのアプローチが、弱い正則性条件のもとで一貫したパrameter推定を達成することを証明する。これには、標本サイズの増加に伴い真の所属関係に収束することを含む。
• データをコーンフレームワークに変換することで、次数補正付きMMSB やトピックモデルなど、さまざまなモデルにこの手法を適応する。

実験結果

リサーチクエスチョン

• RQ1 トピックモデルやネットワークブロックモデルのような多様な重複クラスタリングモデルに、一貫性のある推論を達成できる単一の統一的手法が可能か？
• RQ2 ノイズが存在する状況下でも、1クラスSVMがコーン構造モデルにおけるコミュニティ所属の証明可能に一貫した推定を提供できるか？
• RQ3 コーナー検出における誤差拡大に対する耐性という観点から、本手法は既存の手法と比べてどのように優れているか？
• RQ4 大規模データセットにおいても統計的一致性を維持しながら、効率的にスケーリングできるか？

主な発見

• SVM-coneは、MMSB、DCMMSB、LDAを含む、すべてのコーン構造を持つ重複クラスタリングモデルにおいて、証明可能に一貫したパrameter推定を達成する。
• 正規化と単位球面上でのサポートベクタ検出により誤差拡大を回避するため、単体ベースの手法に比べて優れた性能を発揮する。
• シミュレーテッドおよび実データセットにおいて、SVM-coneは高い正確性とスケーラビリティを示し、クラスタリング品質と計算効率の両面で既存手法を上回る。
• 同サイズの2コミュニティSBMに対して、分離条件 $(p - q)/\sqrt{p} = \tilde{\Omega}(1/\sqrt{n})$ が満たされれば、SVM-coneはノードラベルを一貫して推定することができ、既知の一致閾値と対数要因を除いて一致する。
• DCMMSBから、所属確率を $1/K$ でしきい値処理することで、二値コミュニティ割り当てを効果的に回復でき、重複を伴う確率的ブロックモデルへの応用が可能になる。
• NIPS、PubMed、Enron などのデータセットにおける実験結果から、SVM-coneは意味のあるトピックやコミュニティを正確に回復できており、上位10語のトピックがドメイン知識とよく一致している。