[論文レビュー] Centroid Networks for Few-Shot Clustering and Unsupervised Few-Shot Classification.

Gabriel Huang, Hugo Larochelle+1 more|arXiv (Cornell University)|Feb 22, 2019

Domain Adaptation and Few-Shot Learning被引用数 13

ひとこと要約

この論文は、ラベルなしでクラスタリング性能を向上させるためにタスク固有の表現を学ぶ、少サンプルクラスタリング手法であるCentroid Networksを紹介する。クラスタリングをメタラーニング問題として定式化し、教師なし少サンプル分類を導入することで、OmniglotおよびminiImageNetで、サポートセットのラベルを一切使用しないにもかかわらず、教師あり少サンプル分類手法と同等の性能を達成する。

ABSTRACT

Traditional clustering algorithms such as K-means rely heavily on the nature of the chosen metric or data representation. To get meaningful clusters, these representations need to be tailored to the downstream task (e.g. cluster photos by object category, cluster faces by identity). Therefore, we frame clustering as a meta-learning task, few-shot clustering, which allows us to specify how to cluster the data at the meta-training level, despite the clustering algorithm itself being unsupervised. We propose Centroid Networks, a simple and efficient few-shot clustering method based on learning representations which are tailored both to the task to solve and to its internal clustering module. We also introduce unsupervised few-shot classification, which is conceptually similar to few-shot clustering, but is strictly harder than supervised* few-shot classification and therefore allows direct comparison with existing supervised few-shot classification methods. On Omniglot and miniImageNet, our method achieves accuracy competitive with popular supervised few-shot classification algorithms, despite using *no labels* from the support set. We also show performance competitive with state-of-the-art learning-to-cluster methods.

研究の動機と目的

• 従来のクラスタリング手法が、後続タスクと一致しない事前に定義されたメトリクスや表現に大きく依存するという制限を解消すること。
• クラスタリングをメタラーニング問題として定式化し、特に少サンプルクラスタリングとして、メタトレーニング中にクラスタリング戦略を学習すること。
• 教師あり少サンプル分類手法との比較に向け、より直接的でより難しいベンチマークとして、教師なし少サンプル分類を導入すること。
• クラスタリングタスクおよびその内部モジュールに特化した特徴を学習する手法を設計し、クラスタの質を向上させること。

提案手法

• 特定のクラスタリングタスクおよびその内部クラスタリングモジュールに最適化された表現を学習するニューラルネットワークアーキテクチャ、Centroid Networksを提案する。
• メタラーニングを用いてモデルを訓練することで、推論時にサポートセットにラベルが存在しない新しい少サンプルクラスタリングタスクに対しても一般化可能である。
• モデルがサポートセットをラベルなしでクラスタに分類する必要がある、教師なし少サンプル分類設定を導入し、教師ありバージョンよりも厳しく、より直接的なベンチマークを提供する。
• 各クラスをプロトタイプ（重心）で表現する重心ベースのクラスタリングモジュールを採用し、サンプルはこれらの重心までの距離に基づいて割り当てられる。
• 埋め込み空間におけるクラス内凝集性とクラス間分離性を促進するコントラスト学習損失を用いて、エンドツーエンドでモデルを訓練する。
• 学習された表現を、少サンプルクラスタリングおよび教師なし少サンプル分類の両方のタスクに適用し、未知のクラスへのゼロショット一般化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングを効果的に少サンプルメタラーニング問題として定式化することで、新しいタスクへの一般化性能が向上するか？
• RQ2 タスク固有であり、かつ内部クラスタリングモジュールと互換性のある表現学習手法を設計できるか？
• RQ3 教師なし少サンプル分類は、教師あり少サンプル分類との比較に意味のあるベンチマークを提供するか？
• RQ4 サポートセットからのラベルを一切使用せずに、少サンプルクラスタリングおよび分類タスクで競争力のある性能を達成できるか？

主な発見

• Centroid Networksは、サポートセットからのラベルを一切使用しないにもかかわらず、OmniglotおよびminiImageNetで最先端の教師あり少サンプル分類手法と同等の性能を達成する。
• 提案された教師なし少サンプル分類設定は、教師ありバージョンよりも意味的でかつ厳しく、既存手法との直接比較を可能にする。
• 既存の学習によるクラスタリング手法よりも、OmniglotおよびminiImageNetの両方で優れた性能を示し、未知のクラスへの強い一般化能力を実証する。
• タスクに適応した表現学習を用いることで、標準の特徴抽出器とK-meansを用いた標準的なクラスタリングベースラインと比較して、クラスタの質が顕著に向上することが示された。