[論文レビュー] Clustering with Deep Learning: Taxonomy and New Methods

Elie Aljalbout, Vladimir Golkov+3 more|arXiv (Cornell University)|Jan 23, 2018

Anomaly Detection Techniques and Applications参考文献 27被引用数 194

ひとこと要約

本論文は、深層ニューラルネットワークを用いるクラスタリング手法の体系的な分類法を提案し、MNISTで競合的であり時には最先端のクラスタリング性能を達成するケーススタディでその有用性を検証している。

ABSTRACT

Clustering methods based on deep neural networks have proven promising for clustering real-world data because of their high representational power. In this paper, we propose a systematic taxonomy of clustering methods that utilize deep neural networks. We base our taxonomy on a comprehensive review of recent work and validate the taxonomy in a case study. In this case study, we show that the taxonomy enables researchers and practitioners to systematically create new clustering methods by selectively recombining and replacing distinct aspects of previous methods with the goal of overcoming their individual limitations. The experimental evaluation confirms this and shows that the method created for the case study achieves state-of-the-art clustering quality and surpasses it in some cases.

研究の動機と目的

• 深層ニューラルネットワークに依存するクラスタリング手法の統一的な分類法を開発する。
• 新規クラスタリング手法を体系的に設計するための設定可能な構成要素を特定する。
• 分類法の有用性を示すケーススタディを通じて新規手法を構築する。
• 構成要素を組み合わせることで既存手法の限界を克服できることを示す。

提案手法

• モジュラーな分類法を、ビルディングブロックとして以下と定義する：ニューラルネットワークアーキテクチャ、ディープフィーチャーセット、非クラスタリング損失、クラスタリング損失、損失の組み合わせ、クラスタ更新、および訓練後の再評価（2.1–2.7）。
• 既存の深層学習型クラスタリング手法を調査し、それらを分類法にマッピングして長所と短所を分析する。
• CNNベースのエンコーダを用い、オートエンコーダ風の再構成損失、クラスタリング特化の損失（クラスタハードニング）、学習表現上での最終的なk-means再実行を含むケーススタディ手法を提案する。
• 二段階の訓練プロセスを用いる：第一相は再構成損失で事前訓練、第二相は再構成損失とクラスタリング損失の両方でファインチューニング。
• MNISTとCOIL20でACCとNMIを用いて評価し、クラスタリング品質の改善とデータセット間でのバランスのとれた性能を示す。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークを活用するクラスタリング手法をどのように体系的に分類できるか？
• RQ2 分類法の構成要素を組み合わせることで、クラスタリング性能が向上した新しい手法を生み出せるか？
• RQ3 分類法から構築されたケーススタディ手法は、標準的なベンチマーク（例：MNIST）で最先端または競争力のある結果を達成するか？

主な発見

• 分類法はビルディングブロックを再結合することにより、体系的な手法構築を可能にする。
• ケーススタディ手法はMNISTで0.923 NMIを達成し、その指標で最先端を上回る。
• 提案手法は他の手法と比較してMNISTとCOIL20の両方でバランスのとれた結果を示す。
• 提案手法を適用した後、クラスタリングに適した潜在空間が可視化で示される。
• 本研究は、分類法に基づく設計が少なくとも1つのベンチマークで従来手法を上回り得ることを示す。
• 著者らはこの手法がMNISTのNMIで従来の最先端を上回り、データセット全体でバランスのとれた性能を提供すると報告している。