[論文レビュー] Improving ClusterGAN Using Self-Augmented Information Maximization of Disentangling Latent Spaces

Tanmoy Dam, Sreenatha G. Anavatti+1 more|arXiv (Cornell University)|Jul 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 7

ひとこと要約

本稿では、自己自己拡張情報最大化を通じてデータ駆動型事前分布を学習することにより、クラスタリング性能を向上させる新しいClusterGANの変種、SIMI-ClusterGANを提案する。これにより、潜在空間の分離性が向上し、不均衡データセットでも優れた性能を発揮する。本手法は7つのベンチマークデータセットにおいて、特にクラス不均衡下で最先端のベースラインを上回る性能を示し、真のデータ分布に適合するより現実的で非一様な事前分布を学習することで達成される。

ABSTRACT

Since their introduction in the last few years, conditional generative models have seen remarkable achievements. However, they often need the use of large amounts of labelled information. By using unsupervised conditional generation in conjunction with a clustering inference network, ClusterGAN has recently been able to achieve impressive clustering results. Since the real conditional distribution of data is ignored, the clustering inference network can only achieve inferior clustering performance by considering only uniform prior based generative samples. However, the true distribution is not necessarily balanced. Consequently, ClusterGAN fails to produce all modes, which results in sub-optimal clustering inference network performance. So, it is important to learn the prior, which tries to match the real distribution in an unsupervised way. In this paper, we propose self-augmentation information maximization improved ClusterGAN (SIMI-ClusterGAN) to learn the distinctive priors from the data directly. The proposed SIMI-ClusterGAN consists of four deep neural networks: self-augmentation prior network, generator, discriminator and clustering inference network. The proposed method has been validated using seven benchmark data sets and has shown improved performance over state-of-the art methods. To demonstrate the superiority of SIMI-ClusterGAN performance on imbalanced dataset, we have discussed two imbalanced conditions on MNIST datasets with one-class imbalance and three classes imbalanced cases. The results highlight the advantages of SIMI-ClusterGAN.

研究の動機と目的

• クラス不均衡状況下でも真のデータ分布を反映する現実的で非一様な事前分布を学習できるように、ClusterGANの限界を是正すること。
• 自己拡張と情報最大化により学習するデータ駆動型事前分布に置き換えることで、クラスタリング性能を向上させること。
• 潜在表現の分離性を向上させるために、推論ネットワークにおける事前分布の適合を強制することで、クラスタリング推論ネットワークにおける潜在表現の分離性を高めること。
• MNISTやCIFAR-10を含む、バランス型および極度に不均衡なベンチマークデータセットにおいて、提案手法のロバスト性と優位性を実証すること。

提案手法

• 自己拡張による自己相関を最大化することで、データの拡張ビュー間の相互情報量を最大化し、離散的でデータ駆動型の事前分布を学習する自己拡張事前分布ネットワークを導入する。
• 連続的ノイズと離散的で自己拡張された事前分布を組み合わせたハイブリッド潜在空間を構築し、生成器がより現実的なサンプルを生成できるようにガイドする。
• 実データと生成データの潜在空間における表現の一貫性を保つために、共有重みを持つジェネレータ・エンコーダアーキテクチャを採用する。
• 推論ネットワークの正則化に、3つの追加損失関数（自己拡張対照損失、相互情報量最大化損失、クラスタリング割り当て損失）を用いる。
• 学習済み事前分布を用いてジェネレータとディスクラミネータの adversarial training を実施し、モードカバレッジとサンプル品質を向上させる。
• ジェネレータとクラスタリング推論エンコーダー間で重みを共有することで、分離され、クラス固有の表現を強制する。

実験結果

リサーチクエスチョン

• RQ1 自己拡張情報最大化は、ClusterGANにおける事前分布学習を改善し、真のデータ分布をよりよく反映できるか？
• RQ2 一様事前分布と比較して、データ駆動型事前分布を学習することは、不均衡データセットにおけるクラスタリング性能にどのように影響を与えるか？
• RQ3 提案手法は、クラスタリング推論ネットワークにおける潜在表現の分離性をどの程度向上させるか？
• RQ4 提案手法は、バランス型および不均衡な条件下の標準ベンチマークデータセットにおいて、最先端のクラスタリング手法を上回るか？

主な発見

• MNISTでは、SIMI-ClusterGANが97.2%の正確度と92.1%のNMIを達成し、一様事前分布を用いたClusterGANの95.0%と89.0%を大きく上回った。
• CIFAR-10では、SIMI-ClusterGANが22.8%の正確度と6.7%のNMIを達成したのに対し、ClusterGANは15.9%と2.5%にとどまり、高次元・複雑なデータにおいても性能が向上した。
• 1クラス不均衡（0番の数字が10%）の条件下でも、SIMI-ClusterGANは96.9%の正確度と92.3%のNMIを達成し、ClusterGANの89.2%と83.6%を上回った。
• 3クラス不均衡（1, 3, 5番の数字がそれぞれ10%, 30%, 50%）の条件下でも、SIMI-ClusterGANは94.9%の正確度と90.9%のNMIを達成し、ClusterGANの81.2%と78.7%を上回った。
• t-SNE可視化により、SIMI-ClusterGANは特にマイノリティクラスにおいて、より分離性が高く純度の高いクラスタを生成することが確認されたのに対し、ClusterGANは混合または崩壊したサンプルを生成した。
• アブレーションスタディにより、自己拡張、相互情報量最大化、クラスタリング損失の各コンponentが最終的な性能向上に顕著に寄与していることが確認された。