[論文レビュー] A Mixture of Matrix Variate Bilinear Factor Analyzers

Michael P. B. Gallaugher, Paul D. McNicholas|arXiv (Cornell University)|Dec 22, 2017

Bayesian Methods and Mixture Models参考文献 27被引用数 3

ひとこと要約

本稿では、行列分散要因分析と有限混合モデルを組み合わせることで、高次元の行列分散データのクラスタリングを目的とした、新しい混合行列分散二重線形要因分析モデル（MMVBFA）を提案する。パラメータ推定にはAECMアルゴリズムを用い、シミュレートデータおよび実データ（MNISTおよびOlivetti Facesを含む）において優れたクラスタリング性能を達成し、BICは一貫して最適なコンポーネント数および要因数を特定した。

ABSTRACT

Over the years data has become increasingly higher dimensional, which has prompted an increased need for dimension reduction techniques. This is perhaps especially true for clustering (unsupervised classification) as well as semi-supervised and supervised classification. Although dimension reduction in the area of clustering for multivariate data has been quite thoroughly discussed within the literature, there is relatively little work in the area of three-way, or matrix variate, data. Herein, we develop a mixture of matrix variate bilinear factor analyzers (MMVBFA) model for use in clustering high-dimensional matrix variate data. This work can be considered both the first matrix variate bilinear factor analysis model as well as the first MMVBFA model. Parameter estimation is discussed, and the MMVBFA model is illustrated using simulated and real data.

研究の動機と目的

• 3次元（行列分散）データのためのモデルベースクラスタリングにおける次元削減手法の不足に取り組む。
• 高次元の行列データをクラスタリング応用で柔軟かつスケーラブルに処理できる手法を開発する。
• 二重線形構造と混合モデルを組み合わせることで、要因分析を行列分散データに拡張する。
• 行列分散データの同時クラスタリングと次元削減を可能にし、従来の多変量および行列分散アプローチを凌駕する。
• t分布および歪んだ行列分散要因など、非正規分布への拡張を可能にするフレームワークを提供する。

提案手法

• 二重線形PCAの一般化として、混合行列分散二重線形要因分析（MMVBFA）モデルを提案する。
• 各コンポーネントを二重線形要因構造を有する行列分散正規分布でモデル化する：$\mathbf{X}_{g} = \mathbf{M}_{g} + \mathbf{A}_{g}\mathbf{Z}_{g}\mathbf{B}_{g}^{\top} + \mathbf{E}_{g}$、ここで$\mathbf{Z}_{g}$は低次元の潜在的要因である。
• パラメータ推定に、交互に期待値と条件付き最大化を繰り返すアルゴリズム（AECM）を用いる。
• コンポーネント固有の平均行列$\mathbf{M}_{g}$、行および列の要因負荷行列$\mathbf{A}_{g}, \mathbf{B}_{g}$、およびコンポーネント混合割合$\pi_{g}$を組み込む。
• 最適なコンポーネント数および潜在的要因数の選定に、ベイズ情報基準（BIC）を適用する。
• 行列分散正規仮定を活用し、将来の行列分散t分布、歪んだ楕円体、一般化超べき乗要因分析器への拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 二重線形要因モデルは、クラスタリングの目的で行列分散データに効果的に拡張可能か？
• RQ2 MMVBFAモデルは、既存の手法と比較して、高次元の行列分散データのクラスタリングにおいてどの程度の性能を発揮するか？
• RQ3 BICを用いることで、モデルは最適なコンポーネント数および潜在的要因数を自動的に選択できるか？
• RQ4 半教師あり学習は、実世界の画像データにおけるクラスタリング性能をどの程度向上させるか？
• RQ5 本モデルは、眼鏡のような顔面特徴といった、意味のあるサブグループを検出できるか？

主な発見

• MMVBFAモデルは、すべてのシミュレートデータセットで完璧な分類を達成し、BICは真のコンポーネント数および要因数を正しく特定した。
• MNISTデータセットでは、75％の教師あり条件下で平均ARIが0.93、MCRが0.018を達成し、GallaugherとMcNicholas（2018a）の先行研究を上回った。
• MNISTデータにおいて、BICが選択した行および列の要因数は、すべての教師ありレベルで13〜15の間で最も頻繁に現れた。
• Olivetti Facesデータセットでは、BICが3つのコンポーネントを選び、行要因数26、列要因数23を特定した。コンポーネント3は眼鏡の有無と明確に関連していた。
• 眼鏡をかけた顔はすべてコンポーネント3に分類されたが、2つを除いてはコンポーネント2に分類された。これは、モデルが意味のある顔面特徴を検出できる能力を示している。
• 推定された位置行列のヒートマップでは、教師あり度が上昇するにつれて画像品質が向上し、25回の実行において一貫した性能を維持した。これは、モデルの頑健性を示している。