[論文レビュー] Clustering Higher Order Data: Finite Mixtures of Multidimensional Arrays

Peter A. Tait, Paul D. McNicholas|arXiv (Cornell University)|Jul 19, 2019

Algorithms and Data Compression被引用数 5

ひとこと要約

本稿では、2次元配列（行列）に限られる従来のクラスタリング手法を拡張し、高次元多次元配列（d > 2のテンソル）のクラスタリングを可能にする有限混合モデルを提案する。本手法は、確率的フレームワークを用いてデータをd次元配列の混合としてモデル化し、EMアルゴリズムを用いて同時にクラスタリングとパrameter推定を実行する。主な貢献は、d=2を超える任意の次数dのテンソルへの有限混合モデルの一般化を初めて実現したことである。

ABSTRACT

An approach for clustering multi-way data is introduced based on a finite mixture of multidimensional arrays. Attention to the use of multidimensional arrays for clustering has thus far been limited to two-dimensional arrays, i.e., matrices or order-two tensors. Accordingly, this is the first paper to develop an approach for clustering d-dimensional arrays for d>2 or, in other words, for clustering using order-d tensors.

研究の動機と目的

• 2次元配列（行列）を超える多方向データのクラスタリング手法の不足に応えること。
• d > 2のd次元配列（テンソル）上で直接作用する有限混合モデルを構築すること。
• 高次テンソルデータに対して、統計的に整合性のある方法で同時にクラスタリングとパrameter推定を実行できること。
• 有限混合フレームワークを2次テンソルから任意の次数dのテンソルに拡張すること。

提案手法

• 各成分が特定の平均構造と共分散を持つd次元配列（テンソル）である有限混合モデルを提案する。
• 各データポイントがK個の成分テンソルのうちの1つから生成されると仮定する確率的生成モデルを用いる。
• 混合成分のパラメータとクラスタ割り当てを推定するために、期待最大化（EM）アルゴリズムを採用する。
• テンソルのベクトル化形を用いた多変量正規分布を、テンソル値観測の分布としてモデル化する。
• クラスタリング中に多次元構造を保持するために、テンソル固有の制約とパrameter化を組み込む。
• 混合モデル下での観測テンソルデータの対数尤度を用いて、EMアルゴリズムのEステップとMステップを導出する。

実験結果

リサーチクエスチョン

• RQ1 有限混合モデルをd > 2の高次テンソルで表されるデータのクラスタリングに拡張できるか？
• RQ2 テンソル値データの確率的構造をクラスタリング中にどのように保持できるか？
• RQ3 提案手法は、多方向データに対して行列ベースのクラスタリング手法と比較してどの程度の性能を示すか？
• RQ4 テンソル混合の文脈において、EMアルゴリズムの収束性とパラメータ推定の精度はどの程度か？

主な発見

• 提案手法は、d > 2のd次元配列への有限混合モデルの一般化に成功し、テンソルクラスタリング分野における重要な空白を埋めた。
• EMアルゴリズムは合成テンソルデータに対して信頼性高く収束し、安定したパラメータ推定を示した。
• モデルはデータの元来の多次元構造を維持しており、ベクトル化に起因する情報損失を回避した。
• 本手法は同時にクラスタリングとパラメータ推定を実行でき、高次元データに対する統計的に整合性のあるフレームワークを提供した。