[論文レビュー] Deep Clustering using Auto-Clustering Output Layer.

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning被引用数 1

ひとこと要約

本論文は、部分的にラベル付けされた設定下で、全サンプルに対して粗いラベルが提供されるが、細分化された潜在的ラベル（fine-grained latent annotations）が求められる状況において、教師あり分類と教師なしクラスタリングを統合的に実現できる新しいニューラルネットワーク出力層である自動クラスタリング出力層（ACOL）を提案する。各クラスごとにソフトマックスノードを複製し、グラフベースの活性正則化を適用することで、クラスタ間の競争的学習を促進し、MNIST、SVHN、CIFAR-100で顕著な性能向上を達成する。

ABSTRACT

In this paper, we discuss a different type of semi-supervised setting: a coarse level of labeling is available for all observations but the model has to learn a fine level of latent annotation for each one of them. Problems in this setting are likely to be encountered in many domains such as text categorization, protein function prediction, image classification as well as in exploratory scientific studies such as medical and genomics research. We consider this setting as simultaneously performed supervised classification (per the available coarse labels) and unsupervised clustering (within each one of the coarse labels) and propose a novel output layer modification called auto-clustering output layer (ACOL) that allows concurrent classification and clustering based on Graph-based Activity Regularization (GAR) technique. As the proposed output layer modification duplicates the softmax nodes at the output layer for each class, GAR allows for competitive learning between these duplicates on a traditional error-correction learning framework to ultimately enable a neural network to learn the latent annotations in this partially supervised setup. We demonstrate how the coarse label supervision impacts performance and helps propagate useful clustering information between sub-classes. Comparative tests on three of the most popular image datasets MNIST, SVHN and CIFAR-100 rigorously demonstrate the effectiveness and competitiveness of the proposed approach.

研究の動機と目的

• 全データポイントに対してのみ粗いラベルが提供される状況で、細分化された潜在的ラベルを学習する課題に対処すること。
• 全粗いラベルクラス内で、粗いラベルを用いた教師あり分類と教師なしクラスタリングを同時に実行できることを実現すること。
• このハイブリッド学習設定をサポートするエンドツーエンド訓練が可能なニューラルネットワークアーキテクチャの開発。
• 粗いラベルの監視情報を活用して、サブクラス間で有用な構造を伝搬させることで、クラスタリング品質の向上。
• 標準的な画像ベンチマークデータセットにおいて、提案手法の有効性を実証すること。

提案手法

• 各粗いクラスに対して出力層にソフトマックスノードを複製する自動クラスタリング出力層（ACOL）を導入。
• 複製されたソフトマックスノード間での競争的学習を促進するために、グラフベースの活性正則化（GAR）を適用。
• 分類とクラスタリングの両方の目的を兼ね備えた従来の誤差補正学習フレームワークを用いてネットワークを訓練。
• 隠れ表現上にグラフを構築し、複製された出力ノードの活性パターンを正則化。
• 分類損失とGARに基づくクラスタリング正則化を含む組み合わせ損失関数を最適化。
• エンドツーエンドのバックプロパゲーションにより、各粗いクラス内での細分化されたクラスタ構造を学習可能に。

実験結果

リサーチクエスチョン

• RQ1 粗いラベルしか提供されない状況でも、ニューラルネットワークが細分化された潜在的クラスタ構造を効果的に学習できるか？
• RQ2 粗いラベルの監視情報が、各クラス内での教師なしクラスタリング品質をどのように向上させるか？
• RQ3 標準的な分類またはクラスタリング手法と比較して、提案されたACOLレイヤーがどの程度クラスタリング性能を向上させるか？
• RQ4 グラフベースの活性正則化（GAR）機構は、複製された出力ノード間で競争的学習を効果的に促進できるか？
• RQ5 MNIST、SVHN、CIFAR-100といった多様な画像データセットに、この手法はどの程度一般化可能か？

主な発見

• 提案されたACOL手法は、MNIST、SVHN、CIFAR-100で競争力のある性能を達成し、データセット間での優れた一般化能力を示した。
• 粗いラベルの監視情報により、サブクラス間での情報伝搬が可能となり、クラスタリング品質が顕著に向上した。
• グラフベースの活性正則化（GAR）技術により、複製されたソフトマックスノード間での競争的学習が成功し、より良いクラスタ分離が達成された。
• 分類とクラスタリングの統合学習フレームワークは、部分的にラベル付けされた設定下で、従来の教師ありおよび教師なしベースラインを上回った。
• 訓練時に明示的な細分化ラベルが提供されない状況下でも、モデルは細分化された潜在的ラベルを効果的に学習できた。
• 結果から、ACOLレイヤーは出力層の複製に加え、追加のアーキテクチャ的複雑性を必要とせずに、クラスタリングのためのモデル容量を向上させられると示された。