[論文レビュー] Finding Dense Clusters via "Low Rank + Sparse" Decomposition

Samet Oymak, Babak Hassibi|arXiv (Cornell University)|Apr 27, 2011

Complex Network Analysis Techniques参考文献 16被引用数 52

ひとこと要約

本稿では、密度の高いクラスタを検出するための凸最適化手法を提案する。グラフ内のクラスタを低ランク行列とスparser行列の和にモデル化し、低ランク成分がクラスタ構造を表し、スパースエラーが欠落または余分な辺を説明する。主な結果として、確率的モデルのもとで、互いに disjoint で十分に大きなクラスタは、辺が欠落または破損している場合でも、高い確率で回復可能であることが示された。

ABSTRACT

Finding "densely connected clusters" in a graph is in general an important and well studied problem in the literature \cite{Schaeffer}. It has various applications in pattern recognition, social networking and data mining \cite{Duda,Mishra}. Recently, Ames and Vavasis have suggested a novel method for finding cliques in a graph by using convex optimization over the adjacency matrix of the graph \cite{Ames, Ames2}. Also, there has been recent advances in decomposing a given matrix into its "low rank" and "sparse" components \cite{Candes, Chandra}. In this paper, inspired by these results, we view "densely connected clusters" as imperfect cliques, where imperfections correspond missing edges, which are relatively sparse. We analyze the problem in a probabilistic setting and aim to detect disjointly planted clusters. Our main result basically suggests that, one can find \emph{dense} clusters in a graph, as long as the clusters are sufficiently large. We conclude by discussing possible extensions and future research directions.

研究の動機と目的

• 完全なクリークではないが、欠落または余分な辺があるため不完全なクリークに近い、密に接続されたクラスタを検出すること。
• ランダムグラフにおけるクラスタ検出問題に、低ランクおよびスパース行列分解のための凸最適化手法を拡張すること。
• 凸緩和を用いて、互いに disjoint なクラスタが高確率で回復可能となる理論的条件を確立すること。
• 二つの凸プログラムの性能を分析すること：事前知識なしの「ブラインドアプローチ」と、部分的な事前知識を活用する「インテリジェントアプローチ」。
• 各辺が固定確率で独立に観測される部分観測下でのクラスタ回復を研究すること。

提案手法

• 密なクラスタを低ランク行列（完全なクリークを表す）としてモデル化し、欠落・余分な辺をスパース摂動として扱う。
• 低ランク回復には核ノルム最小化を、スパースエラー検出には ℓ₁-ノルム最小化を用いる行列分解。
• クラスタの位置に関する事前知識なしに、隣接行列の構造に依存する凸計画問題を解く「ブラインドアプローチ」を提案する。
• 部分的なクラスタ情報を取り入れることで、回復保証を向上させる「インテリジェントアプローチ」を導入。p_min > q であっても、p_min ≤ 1/2 の場合でも有効である。
• 集中不等式とチェルノフ束を用いて、確率的クラスタモデル下でのエッジ数の期待値からの逸脱を分析する。
• 双対性および幾何的議論を用いて、真の低ランクおよびスパース成分が、高確率で凸計画問題の唯一の解であることを証明する。

実験結果

リサーチクエスチョン

• RQ1 隣接行列が欠落または余分な辺によって汚染されている場合、凸最適化を用いてグラフ内の密度の高いクラスタを回復可能な条件は何か？
• RQ2 低ランク＋スパース分解フレームワークは、確率的グラフモデル下で不完全なクリーク（すなわち、密度の高いクラスタ）を効果的に検出できるか？
• RQ3 クラスタのサイズが、ブラインドアプローチおよびインテリジェントアプローチにおける成功回復確率に与える影響は何か？
• RQ4 部分観測（各辺が固定確率で独立に観測される）が、クラスタ検出性能に与える影響は何か？
• RQ5 p_min ≤ 1/2 である場合、特に q > 1/2 の場合に、回復保証を拡張できるか？

主な発見

• ブラインドアプローチは、min_i p_i > 1/2 かつクラスタが十分に大きく、k_i ≥ 8√n / (2p_i - 1) である限り、高確率でクラスタを回復可能である。
• インテリジェントアプローチは、p_min > q であれば、p_min ≤ 1/2 であっても、部分的なクラスタ情報の統合により回復を保証する。
• 部分観測下でもクラスタは回復可能であるが、完全観測と比較してより大きなクラスタサイズが要求される。
• 失敗確率の誤差指数は Ω(min{1−2q, 2p_min−1}²k_min) であり、クラスタサイズが増加するに従い、失敗確率が指数的に減少することが示唆される。
• q > 1/2 の場合、真の解が最適であることを示すために、高確率で目的関数値を厳密に改善する妥当解 (L¹, S¹) を構築できる。
• 双対性および幾何的議論を用いた理論的分析により、指定された条件下で真の (L⁰, S⁰) 分解が凸計画問題の唯一の解であることが確認された。