[論文レビュー] Approximation Algorithms for Bregman Co-clustering and Tensor Clustering

Stefanie Jegelka, Suvrit Sra+1 more|ArXiv.org|Dec 1, 2008

Tensor decomposition and applications参考文献 33被引用数 4

ひとこと要約

本稿では、Bregman共クラスタリングおよびテンソルクラスタリングのための最初の近似アルゴリズムを提示し、m がテンソルの順序で α が1次元クラスタリングの近似要因であるとき、O(mα) の近似要因を達成した。この手法は、ℓ₁ および ℓ₂ ノルムを含む任意の可分距離に一般化可能であり、理論的保証を提供するとともに、実世界のデータセットにおいて実用的効果を示した。

ABSTRACT

In the past few years powerful generalizations to the Euclidean k-means problem have been made, such as Bregman clustering [7], co-clustering (i.e., simultaneous clustering of rows and columns of an input matrix) [9,18], and tensor clustering [8,34]. Like k-means, these more general problems also suffer from the NP-hardness of the associated optimization. Researchers have developed approximation algorithms of varying degrees of sophistication for k-means, k-medians, and more recently also for Bregman clustering [2]. However, there seem to be no approximation algorithms for Bregman co- and tensor clustering. In this paper we derive the first (to our knowledge) guaranteed methods for these increasingly important clustering settings. Going beyond Bregman divergences, we also prove an approximation factor for tensor clustering with arbitrary separable metrics. Through extensive experiments we evaluate the characteristics of our method, and show that it also has practical impact.

研究の動機と目的

• Bregman共クラスタリングおよびテンソルクラスタリングには理論的近似保証が不足しているが、これらはNP困難である。
• k-meansおよびk-medianの既存の近似アルゴリズムを、Bregman発散および可分距離を用いた多次元クラスタリングに拡張する。
• 任意の可分距離（ℓ₁およびℓ₂ノルムを含む）を用いたテンソルクラスタリングに対する、最初の理論的近似バインディングを提供する。
• 実世界のデータ上でアルゴリズムの性能を検証し、理論的および実用的インパクトを示す。

提案手法

• 各次元を独立に処理しながら、同時にクラスタ割り当てを最適化する、テンソルクラスタリングのためのブロック平均化アプローチを提案する。
• 1次元クラスタリング問題への還元を段階的に実行する再帰的分解戦略を用い、既知の近似保証を持つ問題に帰着する。
• 1次元クラスタリングの近似要因 α を用いて、全体の解の品質をバインドし、m 方向テンソルクラスタリングに対して O(mα) の近似を得る。
• 凸性および単調性の性質を用いて、Bregman発散および任意の可分距離（ℓ₁およびℓ₂ノルムを含む）へのフレームワークの拡張を実施する。
• 2段階のアルゴリズムを採用する：まず、近似1次元クラスタリングを計算し、次にそれらを統合して理論的性能バインディングを持つ共同クラスタリング解を得る。
• 合成データおよび実世界のデータ（遺伝子発現（白血病）およびMLLデータセット）を用いて手法を検証し、ベースラインヒューリスティクスと比較した。

実験結果

リサーチクエスチョン

• RQ1 Bregman共クラスタリングおよびテンソルクラスタリングに対して、そのNP困難性を考慮して近似アルゴリズムを開発できるか？
• RQ2 Bregman発散および可分距離を用いたテンソルクラスタリングで達成可能な近似要因は何か？
• RQ3 k-meansおよびk-medianからの近似保証を、任意の距離を用いた多次元クラスタリングに拡張できるか？
• RQ4 提案されたアルゴリズムの性能は、実世界のデータにおいて既存のヒューリスティクスと比べてどうか？

主な発見

• 提案されたアルゴリズムは、m がテンソルの順数で α が1次元クラスタリングの近似要因であるとき、Bregmanテンソルクラスタリングに対して O(mα) の近似要因を達成した。
• ℓ₁ノルムに基づくテンソルクラスタリングでは、k-medianのテンソルへの一般化と同等の近似保証を提供した。
• KL発散を用いた白血病データセットでは、クラスタリング目的関数が 1.66×10⁻¹ に達し、ベースラインヒューリスティクスを上回った。
• アルゴリズムの性能は、1次元クラスタリングの品質 α およびテンソルの順数 m に対して線形に依存し、理論的バインディングを確認した。
• 実験では、同時に共クラスタリングの初期化として有効に機能し、収束性および解の品質を向上させた。
• 複数のデータセットにおいて、ベースラインヒューリスティクスを一貫して上回り、クラスタリング目的関数値で平均3～7％の改善を示した。