[論文レビュー] Meta-Learning to Cluster

Yibo Jiang, Nakul Verma|arXiv (Cornell University)|Oct 30, 2019

Machine Learning and Data Classification参考文献 29被引用数 4

ひとこと要約

本稿では、手動で設計された損失関数に依存せずに、クラスタリングを直接学習できるメタラーニングフレームワークを提案する。多様な合成データおよび実データで訓練することで、未観測のクラスタリングタスクに一般化し、k-means や DBSCAN といった標準ベンチマークを上回る性能を示す。特に、小規模なデータセットやクラスタ数が事前に不明な状況で優れた性能を発揮する。

ABSTRACT

Clustering is one of the most fundamental and wide-spread techniques in exploratory data analysis. Yet, the basic approach to clustering has not really changed: a practitioner hand-picks a task-specific clustering loss to optimize and fit the given data to reveal the underlying cluster structure. Some types of losses---such as k-means, or its non-linear version: kernelized k-means (centroid based), and DBSCAN (density based)---are popular choices due to their good empirical performance on a range of applications. Although every so often the clustering output using these standard losses fails to reveal the underlying structure, and the practitioner has to custom-design their own variation. In this work we take an intrinsically different approach to clustering: rather than fitting a dataset to a specific clustering loss, we train a recurrent model that learns how to cluster. The model uses as training pairs examples of datasets (as input) and its corresponding cluster identities (as output). By providing multiple types of training datasets as inputs, our model has the ability to generalize well on unseen datasets (new clustering tasks). Our experiments reveal that by training on simple synthetically generated datasets or on existing real datasets, we can achieve better clustering performance on unseen real-world datasets when compared with standard benchmark clustering techniques. Our meta clustering model works well even for small datasets where the usual deep learning models tend to perform worse.

研究の動機と目的

• タスク固有の損失関数に依存せずに、メタラーニングを通じて直接クラスタリングを学習するクラスタリング手法の開発。
• トレーニング時に真のクラスタラベルが存在しない非教師ありクラスタリングの課題に対処するため、合成データおよび実データのラベル付きデータセットを活用する。
• 事前に k を指定する必要なく、モデルが自動的に正しいクラスタ数を推定できるようにする。
• ディープラーニングモデルが通常性能を発揮できない小規模かつ未観測のデータセットにおいて、クラスタリング性能を向上させること。
• 1つのメタ学習済みクラスタリング方策を用いて、多様なデータ分布に一般化できることを示すこと。

提案手法

• モデルは、データポイントを逐次処理するための再帰的ニューラルネットワーク（LSTM）を用い、以前に観測したポイントに基づく隠れ状態を維持することで、クラスタ割り当てを情報に基づいて行う。
• トレーニングペアは、入力データセットとその真のクラスタIDから構成され、クラスタリング行動のエンドツーエンド学習を可能にする。
• クラスタ数や特徴次元数が異なる多様な合成データおよび実世界データセットの分布から学習させることで、一般化性能を向上させる。
• ポイント間のラベル依存性に対処するため、LSTMの逐次処理により文脈に配慮したクラスタ割り当てを実現する。
• 実験間でアーキテクチャを一貫させ、タスクごとのハイパーパrameterチューニングを行わないことで、一般化能力の強調を図る。
• 実データが不足するケースでは、モデルの性能とロバストネスを向上させるために合成データを拡張する。

実験結果

リサーチクエスチョン

• RQ1 k-means や DBSCAN といった事前に定義されたクラスタリング目的に依存せずに、メタラーニングモデルが効果的にクラスタリングを学習できるか。
• RQ2 合成データや単純な実データで学習したモデルが、複雑で未観測の実世界のクラスタリングタスクにどの程度一般化できるか。
• RQ3 メタ学習済みモデルが、事前に k を指定する必要なく正しいクラスタ数を推定できるか。
• RQ4 多様なデータセットおよびクラスタ設定において、メタクラスタリングモデルの性能が標準的なクラスタリングベースラインと比べてどうなるか。
• RQ5 標準的なディープラーニングモデルがしばしば失敗する小規模データセットにおいて、モデルの性能が維持されるか。

主な発見

• メタクラスタリングモデルは、OpenMLリポジトリの100のテストデータセットにおいて、k-means、カーネル化k-means、DBSCAN、DECを上回る最も低い誤差率を達成した。
• 合成データのみで学習した場合、k=3 の際の誤差率は 0.02 ± 0.01 にまで低下し、次に優れたベースライン（0.11 ± 0.02）を著しく上回った。
• k=4 の場合、誤差率は 0.58 ± 0.02 まで低下し、最良のベースラインに近づき、限られた実データでも強力な一般化性能を示した。
• k が事前に不明な設定では、k ∈ {2,3,4} の誤差率が 0.53 ± 0.08 にまで低下し、DEC を含むすべてのベースラインを上回った。
• 小規模データセット（N=100）においてもロバストな性能を示し、k を事前に指定する必要なく正しいクラスタ数を推定できた。
• トレーニングデータが適切でない、または多様性に欠ける場合にのみ性能が制限されたことが明らかになった。これは、メタラーニングにおけるデータ品質の重要性を強調している。