[論文レビュー] Jointly Modeling and Clustering Tensors in High Dimensions

Biao Cai, Jingfei Zhang+1 more|arXiv (Cornell University)|Apr 15, 2021

Tensor decomposition and applications参考文献 61被引用数 5

ひとこと要約

本稿では、低ランク平均および分離可能で条件付きスパースな共分散構造を活用して、高次元テンソルデータを共同でモデリングおよびクラスタリングする、異質な共分散を有するテンソル混合モデルを提案する。このモデルは、HECMアルゴリズムを導入し、効率的で凸的かつ閉形式の解法を実現し、統計的精度に幾何的収束を達成する。合成データおよびfMRIデータにおけるクラスタリング精度において、既存手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of jointly modeling and clustering populations of tensors by introducing a high-dimensional tensor mixture model with heterogeneous covariances. To effectively tackle the high dimensionality of tensor objects, we employ plausible dimension reduction assumptions that exploit the intrinsic structures of tensors such as low-rankness in the mean and separability in the covariance. In estimation, we develop an efficient high-dimensional expectation-conditional-maximization (HECM) algorithm that breaks the intractable optimization in the M-step into a sequence of much simpler conditional optimization problems, each of which is convex, admits regularization and has closed-form updating formulas. Our theoretical analysis is challenged by both the non-convexity in the EM-type estimation and having access to only the solutions of conditional maximizations in the M-step, leading to the notion of dual non-convexity. We demonstrate that the proposed HECM algorithm, with an appropriate initialization, converges geometrically to a neighborhood that is within statistical precision of the true parameter. The efficacy of our proposed method is demonstrated through comparative numerical experiments and an application to a medical study, where our proposal achieves an improved clustering accuracy over existing benchmarking methods.

研究の動機と目的

• 高次元テンソルデータのクラスタリングを、内在するテンソル構造を保持したまま解決すること。
• 同質性の制限的仮定を緩和し、異質な共分散構造を持つテンソル集団を共同でモデリングおよびクラスタリングすること。
• 高次元テンソル混合モデルのための計算的に効率的で統計的に妥当な推定手法を開発すること。
• 平均および共分散に対する構造的次元削減仮定を通じて、モデルの解釈可能性を保証すること。
• 自閉症スペクトラム障害研究における実fMRIデータを含む、合成データおよび実データの両方で優れたクラスタリング性能を示すこと。

提案手法

• テンソルデータの集団の異質性を捉えるために、異質な共分散を有する高次元テンソル混合モデルを導入する。
• 次元削減と解釈可能性の向上を目的に、テンソル平均に低ランクおよび内部スパース構造を課す。
• 複雑な依存構造をモデル化しつつも取り扱いやすさを維持するため、分離可能で条件付きスパースな共分散構造を仮定する。
• EMのMステップが不正則である場合に、それを一連の凸的で正則化された閉形式最適化問題に再定式化するHECMアルゴリズムを開発する。
• 適切な初期化のもとで、双対非凸性解析を用いて幾何的収束を確立する。
• テンソル分解と条件付き最大化を用いて、高次元設定におけるスケーラブルで安定した推論を実現する。

Figure 1: Tensor fibers, unfolding and vectorization.

実験結果

リサーチクエスチョン

• RQ1 異質な共分散を有するテンソル混合モデルは、高次元テンソルデータにおける集団の異質性を効果的に捉えることができるか？
• RQ2 低ランクおよび構造的共分散仮定は、テンソルクラスタリングにおける推定効率性と解釈可能性をどのように向上させるか？
• RQ3 Mステップが高次元テンソルモデルで不正則である場合に、安定的かつ効率的な推定を可能にするアルゴリズムフレームワークは何か？
• RQ4 EM型手続きにおける非凸性にもかかわらず、提案されたHECMアルゴリズムが幾何的収束をどの程度達成するか？
• RQ5 実世界のfMRIデータにおいて、本手法は既存のベンチマーク手法と比較して、クラスタリング精度にどの程度優れているか？

主な発見

• 適切な初期化のもとで、HECMアルゴリズムは真のパラメータの統計的精度の近傍に幾何的収束を達成する。
• 合成データおよび実fMRIデータの両方において、DEEM やベクトルベースのクラスタリングを含むベンチマーク手法と比較して、著しく高いクラスタリング精度を達成する。
• 57名の被験者と116×116×30のサイズを持つテンソルを有するfMRIデータにおいて、本手法は自閉症（ASD）群と対照群の間で明確に異なる脳機能的結合パターンを同定した。
• モデルは、ASD被験者が時間経過とともに動的でない、かつ結合性が低い脳ネットワークを示すことを明らかにした。これは、既存の神経画像研究の知見と整合的である。
• 数値的安定性と頑健性を示し、シミュレーションにおいてモデルの誤指定に敏感で不安定なDEEMよりも優れた性能を発揮した。
• 推定された脳機能的結合パターンには明確な差が見られた：対照群では結合性が時間経過とともに増加してから減少する傾向を示したが、ASD被験群では比較的安定で低レベルの結合性を示した。

Figure 2: An illustration of rank- $R$ sparse CP decomposition for a third-order tensor.