[論文レビュー] Deep Image Clustering with Category-Style Representation

Junjie Zhao, Donghuan Lu+3 more|arXiv (Cornell University)|Jul 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 8

ひとこと要約

本稿では、相互情報量を最大化し、データ拡張を用いてカテゴリ（クラス間）とスタイル（クラス内）の特徴を分離することで、分離されたカテゴリスタイル表現を学ぶ、DCCSと呼ばれる新しい深層画像クラスタリングフレームワークを提案する。カテゴリ部は直接クラスタ割り当てとして利用可能であり、5つの公開データセットで最先端の手法を大きく上回る精度および正規化相互情報量の向上を達成する。

ABSTRACT

Deep clustering which adopts deep neural networks to obtain optimal representations for clustering has been widely studied recently. In this paper, we propose a novel deep image clustering framework to learn a category-style latent representation in which the category information is disentangled from image style and can be directly used as the cluster assignment. To achieve this goal, mutual information maximization is applied to embed relevant information in the latent representation. Moreover, augmentation-invariant loss is employed to disentangle the representation into category part and style part. Last but not least, a prior distribution is imposed on the latent representation to ensure the elements of the category vector can be used as the probabilities over clusters. Comprehensive experiments demonstrate that the proposed approach outperforms state-of-the-art methods significantly on five public datasets.

研究の動機と目的

• 再構成または生成損失に依存する従来の深層クラスタリング手法の限界、すなわち不要な情報を導入し、学習を複雑化することを解決すること。
• 潜在表現のエンドツーエンド学習を可能にし、カテゴリ成分を追加のクラスタリング手順なしに直接クラスタ割り当てとして使用できること。
• データ拡張を監視信号として用いて、判別的なカテゴリ情報と不要なスタイル変動を分離すること。
• カテゴリ表現がクラスタリングに適していることを保証するため、1-of-kのような挙動を促す事前分布を課すこと。
• 包括的な実験とアブレーションスタディを通じて、最先端の手法を上回る優れた性能を示すこと。

提案手法

• 判別的特徴を保持し、任意の表現を避けるために、入力画像とその潜在表現間の相互情報量を最大化する。
• 潜在空間における不変性を誘導し、カテゴリ（クラス間）とスタイル（クラス内）の成分の分離を可能にするために、データ拡張を用いる。
• 潜在表現を二つに分解する：$Z_c$（カテゴリ）と$Z_s$（スタイル）、ここで$Z_c$は直接クラスタ割り当てに使用される。
• $Z_c$に事前分布を課して、それが1-of-kベクトルに近い値を取ることを促し、クラスタの確率分布として適切な形を取ることを保証する。
• 相互情報量最大化、拡張に基づくカテゴリ・スタイル分離、事前分布正則化の3つの損失関数を用いて、ネットワークをエンドツーエンドで学習する。
• デコーダーやジェネレータを必要とせず、識別器ベースの adversarial 損失を用いて、潜在表現の判別力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 相互情報量の最大化のみで、再構成または生成損失を置き換えることで、深層クラスタリングにおける判別的特徴を保持できるか？
• RQ2 データ拡張が、深層クラスタリングフレームワークにおいてカテゴリとスタイルの表現を効果的に分離できるか？
• RQ3 カテゴリ表現に事前分布を課すことで、追加のクラスタリング手順なしに潜在ベクトルを直接クラスタ割り当てとして使用できるか？
• RQ4 提案手法の各構成要素が、全体のクラスタリング性能にどのように寄与しているか？
• RQ5 提案手法は、クラス内変動の程度が異なる多様な画像データセットにおいて、最先端の性能を達成できるか？

主な発見

• 提案されたDCCSフレームワークは、5つの公開データセットで最先端の性能を達成し、Fashion-MNISTでは平均正解率0.756、CIFAR-10では0.656を記録し、先行手法を顕著に上回る。
• 全表現$Z$に対してK-meansを適用した場合と$Z_c$に対して適用した場合の性能はほぼ同一であり、$Z_c$にクラスタリングに十分な判別的特徴が含まれていることを確認する。
• K-meansを$Z_s$に対して適用した場合の性能は著しく劣る（例：Fashion-MNISTでは0.498 ACC）、カテゴリ情報からスタイルが効果的に分離されていることを示している。
• アブレーションスタディの結果、相互情報量、拡張に基づく分離、事前分布正則化の3つの損失を併用した場合が最良の性能を示し、CIFAR-10では最大10%の向上が見られた。
• 拡張損失の最適な重み$\beta_{\text{Aug}}$はデータセットに依存し、非常に小さい値や非常に大きな値では性能が低下するため、分離とクラスタの凝集性の間のトレードオフが存在することが示された。
• スタイル表現$Z_s$の次元数は性能にほとんど影響しないが、$Z_s$を完全に削除すると正解率が著しく低下するため、クラス内変動を捉えるために不可欠であることが証明された。