[論文レビュー] RDEC: Integrating Regularization into Deep Embedded Clustering for Imbalanced Datasets

Yaling Tao, Kentaro Takagi+1 more|arXiv (Cornell University)|Dec 6, 2018

Anomaly Detection Techniques and Applications参考文献 18被引用数 11

ひとこと要約

本論文では、不均衡データセットにおける性能向上を図るために、仮想 adversarial training (VAT) を統合した深層埋め込みクラスタリング手法 RDEC を提案する。入力の摂動に対してモデルが頑健であるように正則化することで、特に少数クラスのクラスタの密集度が向上し、MNIST では 98.41%、極めて不均衡な MNIST 変種では 85.45% の精度を達成。これは DEC より 8%、K-means よりほぼ 40% 高い性能を発揮した。

ABSTRACT

Clustering is a fundamental machine learning task and can be used in many applications. With the development of deep neural networks (DNNs), combining techniques from DNNs with clustering has become a new research direction and achieved some success. However, few studies have focused on the imbalanced-data problem which commonly occurs in real-world applications. In this paper, we propose a clustering method, regularized deep embedding clustering (RDEC), that integrates virtual adversarial training (VAT), a network regularization technique, with a clustering method called deep embedding clustering (DEC). DEC optimizes cluster assignments by pushing data more densely around centroids in latent space, but it is sometimes sensitive to the initial location of centroids, especially in the case of imbalanced data, where the minor class has less chance to be assigned a good centroid. RDEC introduces regularization using VAT to ensure the model's robustness to local perturbations of data. VAT pushes data that are similar in the original space closer together in the latent space, bunching together data from minor classes and thereby facilitating cluster identification by RDEC. Combining the advantages of DEC and VAT, RDEC attains state-of-the-art performance on both balanced and imbalanced benchmark/real-world datasets. For example, accuracies are as high as 98.41% on MNIST dataset and 85.45% on a highly imbalanced dataset derived from the MNIST, which is nearly 8% higher than the current best result.

研究の動機と目的

• 少数クラスが十分に表現されておらず、しばしば誤ってクラスタリングされる不均衡データセットにおける、深層クラスタリング手法の性能低下を是正すること。
• DEC における初期重心問題を克服すること。これは、ランダム初期化によって少数クラスタの収束が悪くなることによる。
• マージナルデータ問題を軽減すること。これは、重心から遠く離れたデータが、小規模なクラスタに不釣り合いに割り当てられる現象である。
• 正則化を通じて頑健性とクラスタの密集度を向上させること。特に、実世界のデータにおけるまれだが意味のあるパターンに対して有効である。
• 教師ありデータを必要とせず、バランスの取れたデータセットおよび極めて不均衡なデータセットの両方で高い性能を維持する手法を開発すること。

提案手法

• 深層埋め込みクラスタリング (DEC) フレームワークに仮想 adversarial training (VAT) を統合し、小さな入力摂動に対してモデルを正則化する。
• VAT を用いて、類似したデータポイントですら adversarial 摂動に対しても一貫した潜在表現を生成するようにモデルを促進する。
• クラスタリング最適化段階中に VAT を適用し、特に少数クラスのサンプルが潜在空間内で近づくように促進する。
• DEC が予測されたクラスタ割り当てと、ソフト割り当てから導出されたターゲット分布との間の KL 発散を最小化するという目的関数を維持する。
• 2段階の訓練プロセスを採用する：まずオートエンコーダーを事前学習し、その後クラスタリングと正則化の目的関数を同時に最適化する。
• 50 イテレーションにわたりクラスタリング損失が改善しなくなった場合に早期停止を適用する収束基準を設ける。

実験結果

リサーチクエスチョン

• RQ1 仮想 adversarial training (VAT) は、モデルの頑健性を高めることで、不均衡データセットにおけるクラスタリング性能を効果的に向上させることができるか？
• RQ2 DEC に VAT を統合することで、少数クラスに対して初期重心の配置に敏感になる問題が軽減されるか？
• RQ3 VAT は、距離的に遠い、または外れ値に似たサンプルが小規模なクラスタに誤って割り当てられるマージナルデータ問題を緩和できるか？
• RQ4 RDEC は、バランスの取れたデータセットおよび極めて不均衡な実世界データセットにおいて、ベースライン手法（K-means、AE+K-means、DEC）と比較してどの程度優れているか？
• RQ5 半導体ウェーパー欠陏分類のような実世界応用において、RDEC は少数クラスタの整合性をどの程度保っているか？

主な発見

• RDEC は MNIST データセットで 98.41% のクラスタリング精度を達成し、教師あり学習と同等の最先端の性能を示した。
• 最小クラス比が 0.06% の極めて不均衡な MNIST 変種では、RDEC が 85.45% の精度を達成。これは DEC より 8%、K-means よりほぼ 40% 高い。
• ウェーパー欠陃マップのクラスタリングでは、RDEC が 79.86% の精度を達成。DEC より 37.76% の改善を示し、まれな欠陃パターンを整合性のあるクラスタにグループ化した。
• RDEC は最大クラス（68.57%）の大多数のウェーパーを1つのクラスタにまとめるのに成功した。一方、DEC はそれらを複数のクラスタに散らばらせており、不整合を生じた。
• 本手法は、少数で明確な特徴を持つクラスタ（例：データ比 0.12% と 0.06% のクラス 10 と 11）を効果的に特定・統合する能力を示し、早期欠陃検出に不可欠な役割を果たした。
• VAT の統合により、入力摂動に対して顕著に頑健性が向上し、特に少数クラスにおいて、より密集度が高く意味のあるクラスタ構造が得られた。