[論文レビュー] Multiway clustering via tensor block models

Miaoyan Wang, Yuchen Zeng|arXiv (Cornell University)|Jun 10, 2019

Tensor decomposition and applications参考文献 27被引用数 22

ひとこと要約

本稿では、ノイズの多いテンソルにおける多方向クラスタリングのためのテンソルブロックモデル（TBM）を提案する。統一的最小二乗推定を用いて、複数のモードにわたるブロック構造を回復する。パーティションの一貫性と統計的収束性を達成し、上昇した平均を持つ部分テンソルを検出するスパース拡張を備える。シミュレーションおよび遺伝子発現データとマルチレイヤーネットワークの実データにおいて、先行手法を上回る性能を示す。

ABSTRACT

We consider the problem of identifying multiway block structure from a large noisy tensor. Such problems arise frequently in applications such as genomics, recommendation system, topic modeling, and sensor network localization. We propose a tensor block model, develop a unified least-square estimation, and obtain the theoretical accuracy guarantees for multiway clustering. The statistical convergence of the estimator is established, and we show that the associated clustering procedure achieves partition consistency. A sparse regularization is further developed for identifying important blocks with elevated means. The proposal handles a broad range of data types, including binary, continuous, and hybrid observations. Through simulation and application to two real datasets, we demonstrate the outperformance of our approach over previous methods.

研究の動機と目的

• ノイズの多いテンソルにおける多方向ブロック構造を同定する統一的統計枠組みの構築。
• テンソル次元が増加する条件下で、提案推定量の理論的収束保証の確立。
• すべてのテンソルモードにわたる同時クラスタリングと推定を可能にし、2段階的手法よりも精度を向上。
• 上昇した平均を持つ部分テンソルの検出を可能にするスパース正則化によるモデル拡張。
• バイナリ、連続、ハイブリッド観測を含む多様なデータタイプにわたるロバストネスの実証。

提案手法

• テンソルに下位のチェッカーボード構造が存在すると仮定するテンソルブロックモデル（TBM）を提案。ブロック内は一定の平均値をとる。
• すべてのテンソルモードにわたるブロック所属関係とブロック平均値を同時に推定する統一的最小二乗推定手順を開発。
• テンソルのマルチラインアーリング演算（特にテンソルのマルチライン乗算とフロベニウスノルムの最小化）を用いて推定の目的関数を定式化。
• スパース信号設定において特に有効な、ℓ₀罰則を用いたスパース正則化を適用し、上昇した平均を持つ重要なブロックを選択。
• 反復的にコアテンソルと所属行列を更新するための交互最適化アルゴリズムを採用。1イテレーションあたりの計算量はO(d)。
• 高確率誤差バウンドを確立し、テンソル次元が増加する際のパーティションの一貫性を証明。

実験結果

リサーチクエスチョン

• RQ1 統一的最小二乗推定手順は、理論的保証を伴って、大規模でノイズの多いテンソルにおける多方向ブロック構造を回復できるか？
• RQ2 提案されたTBMは、低ランクテンソル分解や2段階クラスタリング手法よりも、より速い収束性と高いクラスタリング精度を達成するか？
• RQ3 TBMのスパース拡張は、高次元でノイズの多いデータにおいて、上昇した平均を持つ部分テンソルを効果的に検出できるか？
• RQ4 本手法は、バイナリ、連続、ハイブリッド観測を含む多様なデータタイプにおいて、どのように性能を発揮するか？
• RQ5 本手法は、テンソルインデックスの未知の再順序化に対してロバストであり、大規模テンソルにスケーラブルか？

主な発見

• 提案された推定量は、高確率誤差バウンドがテンソル次元とノイズレベルに比例する統計的収束性を達成。
• クラスタリング手順はパーティションの一貫性を達成しており、テンソルサイズが増加するにつれて、真のブロック構造を高確率で正しく回復。
• シミュレーションでは、(40,40,40)テンソルにおいて、ブロック数(R1,R2,R3)を(2,3,4)として推定し、バイアスは最小限：(2.00, 2.96, 3.96) ± (0, 0.03, 0.03)。
• GTExマルチティッシュ遺伝子発現データでは、4つの生物学的に意味のある組織クラスタを同定。ブロックには過剰発現と低発現の両パターンが示され、例としてクラスタ1におけるGFAPの平均値は10.88。
• Nationsデータセットでは、5つの国クラスタを検出し、14の主要な政治関係ブロックを同定。バイナリエントリの平均値は1に近く、妥当性を示した。
• シミュレーションおよび実データにおいて、既存手法を上回る性能を示し、収束が速く、上昇した平均を持つブロックの検出精度も向上。