[論文レビュー] Contrastive Fine-grained Class Clustering via Generative Adversarial Networks

Yunji Kim, Jung-Woo Ha|arXiv (Cornell University)|Dec 30, 2021

Face recognition and analysis被引用数 5

ひとこと要約

C3-GANは、InfoGANのカテゴリカル推論と対照的学習を組み合わせることで、教師なしの細分化されたクラスクラスタリングを実現する新しいGANベースの手法を提案する。本手法は、画像-潜在変数ペairをポジティブおよびネガティブサンプルとして用いる対照的損失を最適化するディスクラミネーターを訓練することで、モード崩壊を軽減し、4つの細分化されたデータセットで最先端の性能を達成する。

ABSTRACT

Unsupervised fine-grained class clustering is a practical yet challenging task due to the difficulty of feature representations learning of subtle object details. We introduce C3-GAN, a method that leverages the categorical inference power of InfoGAN with contrastive learning. We aim to learn feature representations that encourage a dataset to form distinct cluster boundaries in the embedding space, while also maximizing the mutual information between the latent code and its image observation. Our approach is to train a discriminator, which is also used for inferring clusters, to optimize the contrastive loss, where image-latent pairs that maximize the mutual information are considered as positive pairs and the rest as negative pairs. Specifically, we map the input of a generator, which was sampled from the categorical distribution, to the embedding space of the discriminator and let them act as a cluster centroid. In this way, C3-GAN succeeded in learning a clustering-friendly embedding space where each cluster is distinctively separable. Experimental results show that C3-GAN achieved the state-of-the-art clustering performance on four fine-grained image datasets, while also alleviating the mode collapse phenomenon. Code is available at https://github.com/naver-ai/c3-gan.

研究の動機と目的

• 微細な視覚的差異がクラス間で生じるため、表現学習が困難になる、教師なしの細分化されたクラスクラスタリングの課題に対処すること。
• データ増強によって細分化された変異をノイズとみなす既存の自己教師あり学習手法の限界を克服すること。
• 人的にアノテートされたバウンディングボックスや分類器に依存しないようにすることで、多様でキュレートされていないデータセットへの応用を可能にすること。
• 対照的正則化スキームを用いることで、GANの訓練安定性を向上させ、モード崩壊を緩和すること。
• 各クラスが明確に分離可能で線形分離可能なクラスタを形成する、分離可能でクラスタリングに適した埋め込み空間を学習すること。

提案手法

• C3-GANは、クラスの識別子を表すカテゴリカルコード $c$ とコンテンツ変動を表す連続コード $z$ の2つの潜在変数を有する条件付きGANフレームワークを採用する。
• 生成器は $c$ と $z$ を入力として画像を合成し、ディスクラミネーターは画像を埋め込み、カテゴリカルコード $c$ を用いてクラスタ重心を予測する。
• 対照的学習は、高い相互情報量を持つ画像-潜在変数ペアをポジティブペア、それ以外をネガティブペアとして定義することで適用される。
• ディスクラミネーターは、同じ $c$ を持つ画像の特徴を引き寄せ、異なる $c$ を持つ特徴を遠ざけるように対照的損失を最大化するように訓練される。
• PerturbGANにインspiredして、アノテーションなしでシーン分解を実装し、生成器がフォアグラウンドオブジェクトに注目するように促進する。
• 訓練目的は潜在空間に明確なクラスタ境界を形成するように正則化し、クラスタリングと生成品質の両方を向上させる。

実験結果

リサーチクエスチョン

• RQ1 対照的学習をInfoGANと効果的に組み合わせることで、人的なラベルなしに教師なしの細分化されたクラスタリングを改善できるか？
• RQ2 画像-潜在変数ペアに対して対照的損失を用いてディスクラミネーターを訓練することで、埋め込み空間におけるクラスタ分離が向上するか？
• RQ3 GANベースのフレームワークは、モード崩壊を緩和しつつ、細分化されたデータセットで最先端のクラスタリング性能を達成できるか？
• RQ4 バウンディングボックスアノテーションなしのシーン分解は、細分化されたクラスタリングのための特徴学習をどの程度向上させるか？
• RQ5 誘導された埋め込み空間は、同時にクラスタリングと画像生成品質を向上させるか？

主な発見

• C3-GANは、CUB、Stanford Cars、Stanford Dogs、Oxford Flowersの4つの細分化されたデータセットで最先端のクラスタリング性能を達成した。
• ベースラインのGANと比較して、モード崩壊が顕著に軽減された。視覚的分析により、色、形状、レイアウトの多様なクラス内変異が確認された。
• C3-GANのみがアノテーションなしでシーン分解を成功させた。一方、FineGAN や MixNMatch などのベースラインは、背景画像のみを生成するに至った。
• C3-GANは、画像生成において競争力あるFIDとインセプションスコアを達成した。CUBではインセプションスコア8.7、Stanford Dogsでは8.6を記録し、高品質な画像合成を示した。
• 逆Kullback-Leibler（Reverse KL）スコアは、実画像と生成画像のクラス分布がよく一致していることを示しており、有効な分布モデリングが行われたことを裏付けた。
• アブレーションスタディにより、$c$ がクラスの識別子、$z$ がポーズや背景の変動を制御する分離可能な潜在空間が得られた。