[論文レビュー] Sharp kernel clustering algorithms and their associated Grothendieck inequalities

Subhash Khot, Assaf Naor|arXiv (Cornell University)|Jan 17, 2010

Complexity and Algorithms in Graphs参考文献 12被引用数 13

ひとこと要約

この論文は、カーネル行列 B の幾何的パラメータ R(B) と C(B) を活用して、近似比 R(B)²/C(B) を達成する多項式時間近似アルゴリズムを提示する。この近似比がより良くなることは、Unique Games 困難であることが示され、Grothendieck 型不等式を用いて理論的保証が厳密に得られる。

ABSTRACT

In the kernel clustering problem we are given a (large) n x n symmetric positive semidefinite matrix A = (aij) with Σni=1 Σnj=1aij = 0 and a (small) k x k symmetric positive semidefinite matrix B = (bij). The goal is to find a partition {S1, ..., Sk} of {1, ... n} which maximizes Σki=1 Σkj=1 (Σ(p, q)e Si x Sj apq) bij. We design a polynomial time approximation algorithm that achieves an approximation ratio of R(B)2/C(B), where R(B) and C(B) are geometric parameters that depend only on the matrix B, defined as follows: if bij = 0, achieving an approximation guarantee of (1 - e)R(B)2/C(B) is Unique Games hard.

研究の動機と目的

• n 個のアイテムを k 個のクラスタに分割し、ペアワイズ類似度の重み付き和を最大化することを目的とする、カーネルクラスタリング問題に対する効率的な近似アルゴリズムの設計。
• 近似比をカーネル行列 B のみに依存する幾何的不変量 R(B) と C(B) の形で特徴付けること。
• 近似比を (1−ε)R(B)²/C(B) 未満に改善することは、Unique Games 困難であることを示して、厳密な下界を確立すること。
• カーネルクラスタリングと Grothendieck 不等式の関係を明らかにし、問題に内在する深い構造的制約を解明すること。
• スペクトル的および幾何的技法を用いて、カーネルクラスタリングアルゴリズムの理論的基盤を構築すること。

提案手法

• カーネルクラスタリング問題の半定値計画法緩和を用い、その後にカーネル行列 B の特異値分解に基づく確率的丸め手順を適用する。
• R(B) は、ある正規化のもとでの B の行ベクトルの ℓ² ノルムの最大値として定義され、B の固有ベクトルの幾何的広がりを捉える。
• C(B) は、単位ベクトル x における二次形式 xᵀBx の最小値として定義され、変換された空間における B の最小固有値を表す。
• 近似比 R(B)²/C(B) は、確率的丸め手順におけるクラスタリング目的関数の期待値を分析することで導出される。
• 整数性ギャップ（SDP緩和と真の最適解との差）を抑え込むために、Grothendieck 型不等式が分析に用いられる。
• Hardness 結果は、Unique Games 問題への帰着により導出され、近似比の改善が計算的に困難であることが示される。

実験結果

リサーチクエスチョン

• RQ1 カーネルクラスタリング問題に対して、多項式時間で達成可能な最良の近似比は何か？
• RQ2 カーネル行列 B の幾何的性質は、クラスタリングアルゴリズムの近似品質にどのように影響するか？
• RQ3 Grothendieck 不等式を用いて、カーネルクラスタリングのためのタイトな近似保証を導出可能か？
• RQ4 近似比 R(B)²/C(B) は、標準的な複雑性理論的仮定のもとで最適か？
• RQ5 R(B)²/C(B) の近似比を改善する計算複雑性は何か？

主な発見

• 提案されたアルゴリズムは、Unique Games 猜定のもとで、(1−ε) 要因以内に最良の近似比 R(B)²/C(B) を達成する。
• 比 R(B)²/C(B) は、データサイズ n とは独立してカーネル行列 B のみに依存するため、問題構造に内在するものである。
• 本稿では、近似比を (1−ε)R(B)²/C(B) 未満に改善することは、Unique Games 困難であることを証明しており、境界のタイトさが示される。
• 分析により、カーネルクラスタリングと Grothendieck 不等式の深い関係が明らかになり、古典的結果がカーネル設定に一般化される。
• アルゴリズムは多項式時間で実行可能であり、構造的カーネル行列を有する大規模クラスタリングタスクに対してもスケーラブルである。
• 結果として、カーネルクラスタリングの近似可能性が、B の幾何的不変量の観点から完全に特徴づけられた。