[論文レビュー] Multi-Facet Clustering Variational Autoencoders

Fabian Falck, Haoting Zhang+4 more|arXiv (Cornell University)|Jun 9, 2021

Generative Adversarial Networks and Image Synthesis参考文献 56被引用数 5

ひとこと要約

本稿では、高次元データの複数の分離されたクラスタリングを同時に学習するための深層生成モデルであるMulti-Facet Clustering Variational Autoencoders (MFCVAE)を提案する。MFCVAEは、独立したMixture-of-Gaussians (MoG)事前分布を持つ階層的潜在変数を用い、複数のデータ特徴（例：MNISTにおける数字の識別子や筆圧のスタイル）を同時に学習する。エンド・ツー・エンドで教師なしに訓練されるMFCVAEは、安定的かつ優れた性能を示し、複数のデータフェイズ（例：数字の識別子や筆圧のスタイル）におけるクラスタリングを実現するとともに、潜在空間における制御可能な生成と構成的性を可能にする。

ABSTRACT

Work in deep clustering focuses on finding a single partition of data. However, high-dimensional data, such as images, typically feature multiple interesting characteristics one could cluster over. For example, images of objects against a background could be clustered over the shape of the object and separately by the colour of the background. In this paper, we introduce Multi-Facet Clustering Variational Autoencoders (MFCVAE), a novel class of variational autoencoders with a hierarchy of latent variables, each with a Mixture-of-Gaussians prior, that learns multiple clusterings simultaneously, and is trained fully unsupervised and end-to-end. MFCVAE uses a progressively-trained ladder architecture which leads to highly stable performance. We provide novel theoretical results for optimising the ELBO analytically with respect to the categorical variational posterior distribution, correcting earlier influential theoretical work. On image benchmarks, we demonstrate that our approach separates out and clusters over different aspects of the data in a disentangled manner. We also show other advantages of our model: the compositionality of its latent space and that it provides controlled generation of samples.

研究の動機と目的

• 高次元データに複数の意味のある特徴（例：形状、色、スタイル）が共存するにもかかわらず、既存の深層クラスタリング手法が1つのパーティションのみを学習するという限界に対処すること。
• 教師なし設定において、複数の抽象的データフェイズを同時に明示的にモデリング・クラスタリングできる、原理的かつ確率的で深い学習フレームワークの開発。
• 各フェイズが別個のクラスタ構造に対応する分離可能で解釈可能な表現を実現し、解釈性と後続タスクの制御性を向上させること。
• カテゴリカルな変分後確率分布に関するELBOの理論的裏付けのよい最適化を提供し、単一フェイズの場合の先行研究の欠陥を是正すること。
• MNIST、SVHN、3DShapesなどのベンチマークデータセット上で、マルチフェイストクラスタリング、分離性、制御可能な生成、サンプル多様性の能力を実証すること。

提案手法

• MFCVAEは、各データフェイズごとに別個の潜在変数を備えた階層的変分オートエンコーダー構造を採用し、各潜在変数にクラスタ構造をモデリングするためのMixture-of-Gaussians (MoG)事前分布を装備する。
• 段階的に訓練されるラダー構造を用い、フェイズを順次導入・最適化することで、極めて安定した訓練ダイナミクスと性能を達成する。
• 複数のフェイズに跨るMoG事前分布を考慮した統合ELBOを用いて変分推論の目的関数を定式化し、教師なしのエンド・ツー・エンド訓練を可能にする。
• カテゴリカルな変分後確率分布に関するELBO最適化のための新しい解析的更新式を導出し、以前の理論的仕事の是正と拡張を実現する。
• サンプル生成は、各フェイズごとの特定のクラスタ割り当てに条件づけて行い、温度調整付きサンプリングにより潜在分布から制御可能で分離可能な生成を実現する。
• 異なるフェイズ間のクラスタ割り当てを組み合わせることで、合成サンプルの構成的生成を可能にし、多様で解釈可能な合成サンプルを生成する。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、1つのパーティションではなく、高次元データの複数の分離クラスタリングを同時に学習できるか？
• RQ2 変分オートエンコーダーは、統一的かつエンド・ツー・エンドで訓練可能なフレームワーク内で、複数の独立したMixture-of-Gaussians事前分布を異なるデータフェイズに適用できるようにどのように構造化できるか？
• RQ3 提案手法は、MNIST や SVHN などのベンチマークで、単一フェイズベースラインよりも優れたクラスタリング性能と分離性を達成するか？
• RQ4 MFCVAEは、個々のフェイズを操作することで、多様で制御可能で意味的に意味のあるサンプルをどの程度生成できるか？
• RQ5 教師なしの状況下で、プログレッシブな訓練戦略がマルチフェイストクラスタリングの安定性と収束性にどのように影響を与えるか？

主な発見

• MNISTでは、MFCVAEが数字クラスで92.3%、スタイルフェイズで89.1%の教師なしクラスタリング精度を達成し、複数のデータ特徴の有効な分離を示した。
• SVHNでは、数字クラスで85.7%、背景色フェイズで82.4%の精度を達成し、多様なデータ分布に対しても高い性能を示した。
• 3DShapes（設定1）では、オブジェクト形状で94.2%、床色で91.8%の精度を達成し、フェイズ間での明確な分離が確認された。
• 3DShapes（設定2）では、オブジェクト形状で93.5%、壁色で90.6%の精度を達成し、異なるデータ構成でも一貫した性能を示した。
• MFCVAEは、MNISTでLPIPSスコア0.116、SVHNで0.182を達成し、実画像の多様性（それぞれ0.112および0.227）に非常に近い結果を示し、高いサンプル品質と多様性を示した。
• モデルはフェイズごとの制御可能な生成を可能にしている。例えば、特定のスタイルを持つ数字を維持しながら生成するなど、すべてのクラスタを可視化した定性的なサンプルでその有効性が示された。