[論文レビュー] Deep Clustering via Joint Convolutional Autoencoder Embedding and Relative Entropy Minimization

Kamran Ghasedi Dizaji, Amirhossein Herandi+3 more|arXiv (Cornell University)|Apr 20, 2017

Domain Adaptation and Few-Shot Learning参考文献 56被引用数 57

ひとこと要約

DEPICT は、KL divergence をクラスタ頻度の事前分布とともに最小化することにより、深い埋め込みとクラスタリングを共同で学習し、再構成損失による正則化を伴うエンドツーエンドの学習を用いて、教師付きハイパーパラメータのチューニングなしで、強力なクラスタリング性能と高速な実行時間を達成します。

ABSTRACT

Image clustering is one of the most important computer vision applications, which has been extensively studied in literature. However, current clustering methods mostly suffer from lack of efficiency and scalability when dealing with large-scale and high-dimensional data. In this paper, we propose a new clustering model, called DEeP Embedded RegularIzed ClusTering (DEPICT), which efficiently maps data into a discriminative embedding subspace and precisely predicts cluster assignments. DEPICT generally consists of a multinomial logistic regression function stacked on top of a multi-layer convolutional autoencoder. We define a clustering objective function using relative entropy (KL divergence) minimization, regularized by a prior for the frequency of cluster assignments. An alternating strategy is then derived to optimize the objective by updating parameters and estimating cluster assignments. Furthermore, we employ the reconstruction loss functions in our autoencoder, as a data-dependent regularization term, to prevent the deep embedding function from overfitting. In order to benefit from end-to-end optimization and eliminate the necessity for layer-wise pretraining, we introduce a joint learning framework to minimize the unified clustering and reconstruction loss functions together and train all network layers simultaneously. Experimental results indicate the superiority and faster running time of DEPICT in real-world clustering tasks, where no labeled data is available for hyper-parameter tuning.

研究の動機と目的

• 高次元・大規模画像データにおけるクラスタリングの非効率性とスケーラビリティを解消する。
• 正確なクラスタ割り当てに適した深く識別力のある埋め込みサブ空間を開発する。
• クラスタリングと再構成損失を結合した統一的なエンドツーエンド最適化を導入し、レイヤー単位の事前訓練を排除する。
• データ依存正則化としてオートエンコーダベースの再構成損失で過学習を抑制する。
• ラベル付きデータのチューニングの必要性を低減しつつ、競争力のあるまたは優れたクラスタリング性能を示す。

提案手法

• DEPICT を提案する。これは、多層畳み込みオートエンコーダの上に多項ロジスティック回帰（soft-max）層を備えるモデルである。
• モデルの予測と補助ターゲットとの間の KL divergence 最小化と、クラスタ頻度の事前分布（デフォルトは一様分布）を定義することにより、クラスタリング目的を定義する。
• ターゲット Q を近似的に閉形式で更新する E ステップと、Q に対するクロスエントロピーでのバックプロパゲーションを通じてネットワークパラメータを更新する M ステップの交互最適化を使用する。
• すべてのエンコーダ/デコーダ層を同時に訓練する結合学習フレームワークを実装し、再構成損失をデータ依存の正則化として組み込む。
• MdA（denoising autoencoder 設定）へ拡張し、汚染されたエンコーダとクリーンなエンコーダを用いる。クラスタリングはクリーンな埋め込みで実行され、予測は汚染された経路から得られることで、ノイズに対して不変なクラスタリングを強制する。
• レイヤー単位の事前訓練なしでエンドツーエンド訓練を実現する統一目的を介し、クラスタリング損失とすべての層の再構成損失を結合して訓練する。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きハイパーパラメータ調整なしで、深い埋め込みとクラスタリングの共同モデルが高次元画像データのクラスタリング性能を改善できるか。
• RQ2 再構成ベースの正則化を伴うエンドツーエンドの共同最適化は、非結合またはレイヤー単位の事前訓練アプローチより識別力の高い埋め込みを生み出すか。
• RQ3 クラスタ頻度の事前分布を組み込むことは、深層クラスタリングにおけるクラスタのバランスと外れ値の回避にどのような影響を与えるか。
• RQ4 MdA フレームワークを用いたノイズ耐性クラスタリングの利点は、教師なし設定でどの程度得られるか。
• RQ5 DEPICT は標準的な画像データセットにおける精度と NMI の観点で最先端のクラスタリング法と比較してどの程度か、実行時間はどうか。

主な発見

• DEPICT は、監視付きハイパーパラメータ調整なしでベンチマーク画像データセット上で競合するまたは優れたクラスタリング性能を達成する。
• 結合したエンドツーエンド訓練（MdA）は、非結合またはレイヤー単位の事前訓練アプローチより識別性の高い埋め込みサブ空間を生み出す。
• KL-divergence のクラスタリング目的とクラスタ頻度の事前分布を組み込むことで、クラスタのバランスが改善され、外れ値の割り当てが減少する。
• 再構成損失をデータ依存の正則化として用いることで過学習を防ぎ、クラスタリングの一般化性能が向上する。
• DEPICT は特に大規模データセットにおいて、他のいくつかの最先端深層クラスタリング手法よりも実行時間が速いことを示している。