[論文レビュー] Provable Convex Co-clustering of Tensors

C. Eric, Brian R. Gaines+3 more|arXiv (Cornell University)|Mar 17, 2018

Tensor decomposition and applications参考文献 102被引用数 15

ひとこと要約

本稿では、一般順序テンソル（D ≥ 3）に対する証明可能に凸な共クラスタリング手法（CoCo）を提案する。この手法は、CP分解から得られる要因行列に融合ラasso正則化を適用することで、テンソル共クラスタリングを凸最適化問題として定式化する。主な貢献は、非漸近的誤差バインディングであり、これは次元の豊かさ（blessing of dimensionality）を示しており、テンソルサイズが増加する中でクラスタ数も増加するにもかかわらず、単一のテンソルサンプルでも共クラスタの一貫した回復が可能であることを明らかにする。

ABSTRACT

Cluster analysis is a fundamental tool for pattern discovery of complex heterogeneous data. Prevalent clustering methods mainly focus on vector or matrix-variate data and are not applicable to general-order tensors, which arise frequently in modern scientific and business applications. Moreover, there is a gap between statistical guarantees and computational efficiency for existing tensor clustering solutions due to the nature of their non-convex formulations. In this work, we bridge this gap by developing a provable convex formulation of tensor co-clustering. Our convex co-clustering (CoCo) estimator enjoys stability guarantees and its computational and storage costs are polynomial in the size of the data. We further establish a non-asymptotic error bound for the CoCo estimator, which reveals a surprising "blessing of dimensionality" phenomenon that does not exist in vector or matrix-variate cluster analysis. Our theoretical findings are supported by extensive simulated studies. Finally, we apply the CoCo estimator to the cluster analysis of advertisement click tensor data from a major online company. Our clustering results provide meaningful business insights to improve advertising effectiveness.

研究の動機と目的

• 既存の非凸テンソル共クラスタリング手法における統計的保証および計算効率の欠如に対処する。
• 一般順序テンソル（D ≥ 3）の共クラスタリングに対して、安定かつ一貫した潜在クラスタ構造の回復を保証する凸定式化を構築する。
• 凸最適化を活用することで、テンソルクラスタリングにおける統計的一貫性と計算の実行可能性のギャップを埋める。
• ベクトルや行列クラスタリングには見られない、新しい「次元の豊かさ」現象を明らかにする理論的誤差バインディングを確立する。
• 広告クリックテンソルデータへの実世界応用を通じて実用的有用性を示し、行動可能なビジネスインサイトを提供する。

提案手法

• 入力テンソルに対してCANDECOMP/PARAFAC（CP）分解を適用し、各モードの低ランク要因行列を取得する。
• 各要因行列に融合ラasso正則化を適用し、モード間でブロック構造を持つクラスタリングを誘導する。
• 共クラスタリング問題を、融合ラasso正則化を含む損失関数を最小化する凸最適化問題として定式化する。
• 加速された一次順序法を用いて、データサイズに比例する線形記憶と反復あたりの線形コストで凸最適化問題を解く。
• チューニングパラメータの選定には二段階手順を採用：ランク選定にはSunら（2017）の手法、クラスタ数選定にはギャップ統計量（Tibshiraniら、2001）を用いる。
• データとチューニングパラメータの両方におけるリプシッツ連続性と連続性を確保することで、ウォームスタートと摂動に対するロバストネスを実現する。

実験結果

リサーチクエスチョン

• RQ1 テンソル共クラスタリングの凸定式化は、統計的一致性と計算効率の両方を達成できるか？
• RQ2 提案手法は「次元の豊かさ」——つまり、テンソル次元が増加するに従い性能が向上または安定する——を示すか？
• RQ3 テンソルサイズに応じてクラスタ数が増加する状況下で、CoCo推定器は共クラスタをどの程度正確に回復できるか？
• RQ4 単一のテンソルサンプルから、真の共クラスタ構造を一貫して回復できるか？
• RQ5 さまざまなテンソル形状とノイズレベルにおいて、CoCoの単一モードおよび共クラスタリング精度はCPD+k-meansおよびCoTeCと比べてどの程度優れているか？

主な発見

• CoCo推定器は、テンソルサイズに伴い減少する非漸近的誤差バインディングを達成しており、クラスタ数がテンソル要素数に応じて増加する中でも、共クラスタが一貫して回復可能であるという「次元の豊かさ」を示している。
• CoCoは、単一のテンソルサンプルのみを用いても、真の共クラスタ構造を高確率で回復できる。これは、ベクトルや行列クラスタリングでは観察されない性質である。
• シミュレーションでは、低ノイズレベル（σ = 2）において、CoCoはCPD+k-meansおよびCoTeCを上回り、特に短いモード（n_d = 10）において調整ランダムインデックス（ARI）が顕著に優れており、モード長が20に延長されるとほぼ完璧な性能を示す。
• 高ノイズ（σ = 3）下では、長モードの性能低下が顕著に現れるが、全体的な共クラスタリングARIはCPD+ k-meansと同等の水準を維持する。
• 最短モードが短い場合（n_d = 10）には、中程度のノイズ下で性能が急激に低下するが、最短モードを20に延長するとこの問題は顕著に軽減される。
• データとチューニングパラメータの両方におけるリプシッツ連続性を示しており、ウォームスタートを用いたロバストな計算が可能である。