[論文レビュー] Convex optimization for the planted k-disjoint-clique problem

Brendan Ames, Stephen A. Vavasis|arXiv (Cornell University)|Aug 17, 2010

Sparse and Compressive Sensing Techniques参考文献 19被引用数 6

ひとこと要約

本稿では、ノイズで覆われたグラフ内に存在する $k$ 個の互いに素なプラント・クリークを正確に回復するための凸最適化アプローチを、半定値計画法を用いて提案する。理論的に、クリークが十分に大きく、ノイズが敵対的（エッジ数が有界）またはランダム（固定エッジ確率）である場合、この手法は高確率で真のクリークを回復できることを示している。これは、最大クリーク問題に関する先行研究を $k$ 個の非交差クリーク設定に拡張した結果である。

ABSTRACT

We consider the k-disjoint-clique problem. The input is an undirected graph G in which the nodes represent data items, and edges indicate a similarity between the corresponding items. The problem is to find within the graph k disjoint cliques that cover the maximum number of nodes of G. This problem may be understood as a general way to pose the classical `clustering' problem. In clustering, one is given data items and a distance function, and one wishes to partition the data into disjoint clusters of data items, such that the items in each cluster are close to each other. Our formulation additionally allows `noise' nodes to be present in the input data that are not part of any of the cliques. The k-disjoint-clique problem is NP-hard, but we show that a convex relaxation can solve it in polynomial time for input instances constructed in a certain way. The input instances for which our algorithm finds the optimal solution consist of k disjoint large cliques (called `planted cliques') that are then obscured by noise edges and noise nodes inserted either at random or by an adversary.

研究の動機と目的

• ノイズが存在する状況下での NP 困難な $k$ 個の非交差クリーク問題（最大クリーク問題の一般化）に対処すること。
• 敵対的またはランダムなノイズによって覆い隠されたクリークを正確に回復できる多項式時間の凸緩和法を開発すること。
• 半定値緩和法が最適な $k$ 個の非交差クリーク部分グラフを高確率で回復する理論的条件を確立すること。
• 最大クリーク問題に関する先行研究を、より一般的な $k$ クリーククラスタリング設定に拡張すること。
• 隠された密な部分構造を含むノイズのあるデータにおけるロバストなクラスタリングのためのフレームワークを提供すること。

提案手法

• 隣接行列上での非凸な組合せ最適化問題として $k$ 個の非交差クリーク問題を定式化する。
• 非負定値行列、次数制約、トレースが $k$ に等しいこと、および入力グラフと一致するスパarsity を満たす制約を課した半定値計画問題（SDP）に緩和する。
• ランク1行列制約の凸緩和を用い、行列 $X \succeq 0$ で $\mathrm{tr}(X) = k$ かつ $[A_G]_{ij} = 0$ ならば $X_{ij} = 0$ となるように、非交差クリークをモデル化する。
• ランダム行列理論を用いて、クリーク間ノイズを表す非対角ブロック行列のスペクトルノルムを評価する。
• 集中不等式と行列摂動理論を用い、ランダムノイズモデル下での確率的回復保証を導出する。
• 合成グラフにプラント・クリークを埋め込み、MATLAB の SDPNAL ソルバを用いて数値的に回復性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、凸緩和が、埋め込まれた $k$ 個の非交差クリークとノイズが加えられたグラフから正確に回復可能となるか？
• RQ2 アルゴリズムは、プラント・クリークを回復し続けるために、最大で何本の敵対的エッジを許容できるか？
• RQ3 エッジ確率 $p$ で独立に追加されるノイズエッジがある場合、高確率で回復が可能となるために必要なクリークサイズはどの程度か？
• RQ4 理論的境界で示された回復可能クリークサイズは、シミュレーションにおける実効的性能と一致するか？
• RQ5 理論的保証は、隠れた密な部分グラフを含む実世界のクラスタリング状況へどの程度一般化可能か？

主な発見

• 敵対的ノイズエッジの数が $O(\hat{r}^2)$ である限り、半定値緩和法はプラント・$k$ 個の非交差クリーク部分グラフを正確に回復する。ここで $\hat{r}$ は最小クリークサイズを表す。
• ランダムノイズ（エッジ確率 $p$）の下では、定理 4.5 の理論的境界の右辺が $\hat{r}$ 以下であれば、プラント・クリークは指数的に 1 に近い確率で回復される。
• シミュレーションでは、理論的閾値未満のクリークサイズに対しても回復が達成されており、理論的境界が保守的である可能性を示唆している。
• 実験的回復率は、特に $N$ が大きく、$p$ が中程度の場合、理論的予測とよく一致している。
• ランダムノイズ下で、$N^{1/4}$ 個のサイズ $\Omega(N^{1/2})$ のプラント・クリークが正しく回復されることを確認し、理論的スケーリングを裏付けた。
• 理論的解析により、クリーク間ノイズブロックのスペクトルノルムが $O(\sqrt{r_s / r_q})$ で有界であることが示され、クリークが十分に大きい場合には回復が可能となる。