[論文レビュー] Deep Density-based Image Clustering

Yazhou Ren, Ni Wang+2 more|arXiv (Cornell University)|Dec 11, 2018

Image Retrieval and Classification Techniques参考文献 38被引用数 9

ひとこと要約

本稿では、深層畳み込みオートエンコーダー（CAE）を用いて低次元特徴を学習し、その後t-SNEを用いて2次元可視化を行い、新たな密度ベースのクラスタリング手法を適用することで、事前にクラスタ数を指定せずに任意の形状のクラスタを自動で検出する2段階フレームワーク「Deep Density-based Image Clustering（DDC）」を提案する。DDCは、クラスタ数が未知である場合でさえも、画像クラスタリングベンチマークで最先端の性能を達成する。

ABSTRACT

Recently, deep clustering, which is able to perform feature learning that favors clustering tasks via deep neural networks, has achieved remarkable performance in image clustering applications. However, the existing deep clustering algorithms generally need the number of clusters in advance, which is usually unknown in real-world tasks. In addition, the initial cluster centers in the learned feature space are generated by $k$-means. This only works well on spherical clusters and probably leads to unstable clustering results. In this paper, we propose a two-stage deep density-based image clustering (DDC) framework to address these issues. The first stage is to train a deep convolutional autoencoder (CAE) to extract low-dimensional feature representations from high-dimensional image data, and then apply t-SNE to further reduce the data to a 2-dimensional space favoring density-based clustering algorithms. The second stage is to apply the developed density-based clustering technique on the 2-dimensional embedded data to automatically recognize an appropriate number of clusters with arbitrary shapes. Concretely, a number of local clusters are generated to capture the local structures of clusters, and then are merged via their density relationship to form the final clustering result. Experiments demonstrate that the proposed DDC achieves comparable or even better clustering performance than state-of-the-art deep clustering methods, even though the number of clusters is not given.

研究の動機と目的

• 既存の深層クラスタリング手法が事前にクラスタ数を指定する必要があるという制限を解消すること。
• 深層特徴空間におけるk-meansベースのクラスタリングの不安定さと形状への感受性を克服すること。
• 局所的なクラスタ構造と点の重要度を捉えることで、クラスタリングのロバスト性を向上させる密度ベースのクラスタリング手法を開発すること。
• クラスタ数が未知であっても、画像データにおいて任意の形状のクラスタを自動で発見できること。
• 自己符号化器の反復的精錬に依存するのを減らし、低次元空間における密度に配慮したクラスタリングを活用すること。

提案手法

• 高次元画像データから10次元の低次元特徴表現を抽出するために、深層畳み込みオートエンコーダー（CAE）を訓練する。
• CAEで学習された特徴をさらに2次元空間に低次元化するためにt-SNEを適用し、対象間類似性を保持するとともに、密度ベースのクラスタリングを強化する。
• 局所的密度に基づいて局所クラスタを特定し、密度関係を用いてそれらを統合する、新規の密度ベースのクラスタリング技術を開発する。
• 各データポイントに密度スコア（ρ）と到達距離（δ）を割り当て、クラスタ形成と統合をガイドする。
• 高密度領域を中心に局所クラスタを生成し、密度接続性に基づいて統合することで、不規則な形状のクラスタを検出可能にする。
• 中間の密度と到達距離を持つ点を境界点として特定することで、クラスタ境界の検出を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層クラスタリングフレームワークは、事前にクラスタ数を指定せずに、自動的にクラスタ数を特定できるか？
• RQ2 2次元埋め込み空間における密度ベースのクラスタリングは、k-meansベースの手法に比べて性能と安定性に優れるか？
• RQ3 CAEとt-SNEを組み合わせることで、画像データにおける密度ベースのクラスタリングのための特徴表現の質が向上するか？
• RQ4 密度ベースのクラスタリングを用いる場合、自己符号化器の反復的精錬は必要か、それとも埋め込み特徴の直接クラスタリングで十分か？
• RQ5 密度推定における比パラメータなどのハイパーパrameter設定に対して、本手法はどれほどロバストか？

主な発見

• DDCは、クラスタ数を事前に知らなくても、最先端の深層クラスタリング手法と同等またはそれ以上のクラスタリング性能を達成する。
• MNIST-testおよびUSPSデータセットにおいて、比パラメータの広い範囲で高い正解率（ACC）と正規化相互情報量（NMI）を維持し、最適性能は0.1で達成される。
• DDC-DAはMNIST-testで737秒、USPSで583秒で実行され、ConvDEC-DAと比較して競争力のある効率性を示す。
• 可視化結果から、DDCは複雑で非球形のクラスタを効果的に同定でき、分離度が高くても低くても境界点を効果的に検出している。
• 実験から、比パラメータ範囲[0.05, 0.16]において安定した性能を示し、0.1をデフォルト値として使用することを支持する。
• 実験により、生データに直接t-SNEを適用した場合のクラスタリング結果は、CAEで学習された特徴にt-SNEを適用した場合よりも劣ることが確認され、次元削減の前段階での表現学習の有効性が裏付けられた。