[論文レビュー] Conditional partial exchangeability: a probabilistic framework for multi-view clustering

Beatrice Franzolini, Maria De Iorio+1 more|arXiv (Cornell University)|Jul 3, 2023

Bayesian Methods and Mixture ModelsComputer Science被引用数 3

ひとこと要約

本稿では、特徴ごとにクラスタ構造を変化させながらも被験者内依存をモデル化できる、多視点クラスタリングのための新しいベイジアンノンパrametric枠組み、条件付き部分交換可能性を導入する。階層的ランダムパーティションと従属ディリクレ過程を活用することで、柔軟かつ計算可能なかいしたクラスタリングが可能となり、特徴固有の寄与と視点間の異種クラスタ形状を捉えることができる。

ABSTRACT

Standard clustering techniques assume a common configuration for all features in a dataset. However, when dealing with multi-view or longitudinal data, the clusters' number, frequencies, and shapes may need to vary across features to accurately capture dependence structures and heterogeneity. In this setting, classical model-based clustering fails to account for within-subject dependence across domains. We introduce conditional partial exchangeability, a novel probabilistic paradigm for dependent random partitions of the same objects across distinct domains. Additionally, we study a wide class of Bayesian clustering models based on conditional partial exchangeability, which allows for flexible dependent clustering of individuals across features, capturing the specific contribution of each feature and the within-subject dependence, while ensuring computational feasibility.

研究の動機と目的

• すべての特徴に共通する1つのクラスタ構成を仮定する標準的手法の限界に対処すること。これは、多視点または縦断的データにおける異質性を捉えることができない。
• 成長曲線、代謝物、母体の臨床データなど、複数のデータドメイン間で、クラスタ構成が特徴ごとに異なる可能性がある被験者内依存をモデル化すること。
• 特徴ごとに異なるクラスタ数、形状、頻度を許容する、柔軟でデータ駆動型のクラスタリングを可能にする確率的枠組みを開発すること。
• 条件付き部分交換可能性を用いた階層ベイズモデルを構築することで、高次元で多視点な設定においても計算の実行可能性を確保すること。
• 標準的手法が高次元特徴に偏る問題を克服し、各特徴がクラスタ構成に割合に応じて寄与できるようにすること。

提案手法

• 複数のドメインにまたがる従属ランダムパーティションのための確率的枠組みとして、条件付き部分交換可能性を提案。被験者内依存を保ちつつ、特徴ごとにクラスタ構成を変化可能にする。
• 1段階目に各特徴のクラスタ構成を定義する階層ベイズモデルを構築し、2段階目に共有された潜在構造を通じて特徴間のクラスタ割り当ての依存関係をモデル化する。
• 従属ディリクレ過程の事前分布を用いて、特徴間のクラスタ割り当ての同時分布をモデル化し、視点間でクラスタメンバーシップが確率的に依存するように保証する。
• 多変量正規分布などの特徴固有の尤度関数を組み込み、予測分布を用いてクラスタ構成の周辺尤度を計算するために統合を行う。
• 1段階目のクラスタ構成に条件づけた予測分布を導出し、2段階目の依存関係を統合することで、完全なベイズ推論を可能にする。
• 条件付き独立構造を活用し、予測再帰を用いて周辺尤度を効率的に計算することで、計算の実行可能性を確保する。

(a) True clustering structure. Observations in each cluster are simulated from a Multivariate Normal with identity variance and covariance matrix.

実験結果

リサーチクエスチョン

• RQ1 複数の特徴や視点でクラスタ構造が変化する状況において、特徴間で被験者内依存を保持しつつ、どのようにクラスタ構造をモデル化できるか。
• RQ2 共通のクラスタ構成を仮定しないで、柔軟に特徴固有のクラスタ形状と数を許容する確率的枠組みは何か。
• RQ3 多視点データにおいて、高次元特徴がクラスタリング解に優位に影響しないようにするにはどうすればよいか。
• RQ4 被験者内依存をサポートしつつ、ランダムでデータ駆動型のクラスタ選択を可能にするベイジアンノンパラメトリクスモデルを構築できるか。
• RQ5 条件付き部分交換可能性は、異種のデータタイプを持つドメイン間で従属クラスタリングを可能にする役割を果たすか。

主な発見

• 提示された枠組みは、1次元と3次元の特徴が異なるクラスタパターンを示すトイ例で、特徴ごとの異なるクラスタ構造をうまく捉えている。
• k-means やディリクレ過程混合モデルといった標準的手法は、トイ例において真のクラスタ構造を検出できず、高次元特徴に支配されていた。
• モデルの予測分布は特徴固有の寄与と被験者内依存を適切に反映し、高次元特徴へのバイアスを回避している。
• 条件付き部分交換可能性により、特徴間のクラスタ割り当ての共同モデル化が可能となり、交換性が成り立つ場合、関連する置換に対して確率的分布が不変のままである。
• ノンパラメトリック事前分布のおかげで、特徴ごとのクラスタ数の自動選択が可能となり、事前にクラスタ数を指定する必要がなくなる。
• 理論的分析により、特定の設定下でモデルが条件付き交換性を満たしていることが確認され、依存する視点間での有効な確率的推論が保証される。

(b) k-means clustering configuration with the number of clusters determined by elbow plot, gap statistics ( Tibshirani et al. , 2001 ) , and silhouette method ( Kaufman and Rousseeuw , 2009 ) .