[論文レビュー] Adversarial Deep Embedded Clustering: on a better trade-off between Feature Randomness and Feature Drift

Nairouz Mrabah, Mohamed Bouguessa+1 more|arXiv (Cornell University)|Sep 25, 2019

Anomaly Detection Techniques and Applications被引用数 6

ひとこと要約

本稿では、自己符号化器ベースのクラスタリングにおける主な制限要因である特徴のランダム性（Feature Randomness）と特徴のずれ（Feature Drift）を軽減するため、従来の再構成損失に代えて adversarial regularisation を導入することで、ADEC と呼ばれる新しい敵対的ディープ埋め込みクラスタリングモデルを提案する。この手法は、ベンチマークデータセット上で最先端の性能を達成し、安定性とロバスト性が向上しており、感受性の高いハイパーパramータのチューニングを不要にする。

ABSTRACT

Clustering using deep autoencoders has been thoroughly investigated in recent years. Current approaches rely on simultaneously learning embedded features and clustering the data points in the latent space. Although numerous deep clustering approaches outperform the shallow models in achieving favorable results on several high-semantic datasets, a critical weakness of such models has been overlooked. In the absence of concrete supervisory signals, the embedded clustering objective function may distort the latent space by learning from unreliable pseudo-labels. Thus, the network can learn non-representative features, which in turn undermines the discriminative ability, yielding worse pseudo-labels. In order to alleviate the effect of random discriminative features, modern autoencoder-based clustering papers propose to use the reconstruction loss for pretraining and as a regularizer during the clustering phase. Nevertheless, a clustering-reconstruction trade-off can cause the \ extit{Feature Drift} phenomena. In this paper, we propose ADEC (Adversarial Deep Embedded Clustering) a novel autoencoder-based clustering model, which addresses a dual problem, namely, \ extit{Feature Randomness} and \ extit{Feature Drift}, using adversarial training. We empirically demonstrate the suitability of our model on handling these problems using benchmark real datasets. Experimental results validate that our model outperforms state-of-the-art autoencoder-based clustering methods.

研究の動機と目的

• 自己符号化器ベースのディープクラスタリングにおける特徴のランダム性と特徴のずれという二重の課題に取り組む。これは、信頼性の低い擬似ラベルと矛盾する勾配がクラスタリング性能を低下させるためである。
• 再構成とクラスタリングの目的関数の間で生じる悪影響を受けるトレードオフ（Feature Drift）を解消する。これは、エンドツーエンド学習における知られている問題である。
• ハイパーパramータチューニングへの感受性を低減し、特にクラスタリング-再構成損失におけるバランスパラメータ γ の安定性を向上させる。
• 教師信号に依存せずに、高次元かつ意味的特徴の豊富なデータセットに対しても強力な性能を発揮するように、判別的な特徴学習を向上させる。
• 敵対的正則化が、標準的な再構成損失よりも訓練の安定性とクラスタリング指標の向上に有効であることを検証する。

提案手法

• ADEC は、ディープクラスタリングにおける標準的な再構成損失を、敵対的損失に置き換える。これは、識別器が実際の潜在表現と生成された表現を区別するように設計されている。
• モデルはクラスタリング目的関数と敵対的目的関数を同時に最適化することで、再構成損失への依存度を低下させ、勾配の衝突を緩和する。
• 敵対的訓練プロセスにより、潜在空間が、非代表的でランダムな特徴が発生するのを防ぐ正則化が行われる。
• 本フレームワークは、クラスタリングが実行される低次元の埋め込み空間を維持し、擬似ラベルを生成するためにソフトアサインメント戦略を用いる。
• 線形結合によるクラスタリングと再構成損失のバランスパラメータ γ を避けるために、敵対的正則化に置き換える。
• 識別器は実データと生成された潜在特徴を区別するように学習され、一方エンコーダーは識別器を欺くように学習され、意味のある特徴学習を促進する。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練は、再構成損失に依存せずに、ディープ埋め込みクラスタリングにおける特徴のランダム性を効果的に低減できるか？
• RQ2 再構成損失を敵対的正則化に置き換えることで、クラスタリングと再構成の勾配が競合する原因となる特徴のずれ（Feature Drift）を緩和できるか？
• RQ3 ADEC は、MNIST、Fashion-MNIST、Reuters などのベンチマークデータセットにおいて、クラスタリング精度（ACC）および正規化相互情報量（NMI）の観点で、最先端の手法と比較して優れているか？
• RQ4 ADEC は、既存の手法（例：IDEC*）と比較して、特に γ に対する感受性が低いと期待できるか？
• RQ5 敵対的正則化は、訓練中の学習曲線を滑らかにし、より安定させるか？

主な発見

• ADEC は、MNIST、Fashion-MNIST、Reuters データセットにおいて、ACC および NMI の両面で最先端の手法を上回る優れたクラスタリング性能を達成した。
• ADEC は、IDEC* よりもトレーニング中の ΔFR 値が低く抑えられており、特徴のランダム性が著しく低減されていることが示された。
• ADEC は、特徴のずれが少ないことが ΔFD 値の高さから裏付けられており、敵対的正則化がクラスタリングと再構成の目的関数のバランスをより良くしていることが示された。
• ADEC の学習曲線は滑らかで、IDEC* よりも一貫して高い値を示しており、IDEC* で観察されたノイズの多い曲線とは対照的であった。
• ADEC は、バランスパラメータ γ の微調整が不要であることが確認された。これは、すべてのテスト値で安定した性能を示したのに対し、IDEC* は γ = 0.01 のみで妥当な性能を示した。
• 2次元潜在空間の可視化により、ADEC は明確に分離された判別性の高いクラスタを生成しており、強力な特徴学習とクラスタリング能力を示している。