[論文レビュー] Learning Latent Representations in Neural Networks for Clustering through Pseudo Supervision and Graph-based Activity Regularization

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|Feb 8, 2018

Domain Adaptation and Few-Shot Learning参考文献 15被引用数 18

ひとこと要約

本論文は、ドメイン固有の変換を介した疑似教師付き学習を活用して、分離可能でk-meansに適した潜在表現を学習する、新しい非教師ありクラスタリング手法を提案する。変換（例：回転）に関連付けられた疑似親クラスを割り当て、各クラスごとに複数のソフトマックスヘッドを専用化するためのグラフベース活動正則化（GAR）を用いることで、隠れたクラスタ構造を発見し、MNIST、SVHN、USPSデータセットで最先端の精度を達成した。

ABSTRACT

In this paper, we propose a novel unsupervised clustering approach exploiting the hidden information that is indirectly introduced through a pseudo classification objective. Specifically, we randomly assign a pseudo parent-class label to each observation which is then modified by applying the domain specific transformation associated with the assigned label. Generated pseudo observation-label pairs are subsequently used to train a neural network with Auto-clustering Output Layer (ACOL) that introduces multiple softmax nodes for each pseudo parent-class. Due to the unsupervised objective based on Graph-based Activity Regularization (GAR) terms, softmax duplicates of each parent-class are specialized as the hidden information captured through the help of domain specific transformations is propagated during training. Ultimately we obtain a k-means friendly latent representation. Furthermore, we demonstrate how the chosen transformation type impacts performance and helps propagate the latent information that is useful in revealing unknown clusters. Our results show state-of-the-art performance for unsupervised clustering tasks on MNIST, SVHN and USPS datasets, with the highest accuracies reported to date in the literature.

研究の動機と目的

• 深層ニューラルネットワークにおける明示的教師なしクラスタリングの課題に対処すること。
• 単なる特徴類似度を越えて、ドメイン固有の変換から得られる間接的かつ隠れた情報を活用してクラスタリングをガイドすること。
• 疑似教師付き学習と非教師付き正則化を用いて、分離可能なクラスタ構造を学習する手法を開発すること。
• 変換タイプがクラスタリング性能に与える影響を示し、特に回転に基づく変換が最も効果的であることを明らかにすること。

提案手法

• 各疑似親クラスごとにソフトマックスノードを複製する「自己クラスタリング出力層（ACOL）」を導入し、共同分類とクラスタリングを可能にする。
• データポイントにランダムに疑似親クラスラベルを割り当て、それぞれが特定のドメイン固有の変換（例：回転、スケーリング）に関連付ける。
• 各データポイントに割り当てられた変換を適用して、学習用の擬似ラベル付きペairを生成する。
• 同じ親クラスに属する複数のソフトマックスヘッドの専用化を促進するため、グラフベース活動正則化（GAR）を用いる。
• 再構成損失とGARに基づく正則化を組み合わせてネットワークを訓練し、k-meansに適した表現を学習する。
• t-SNE可視化とクラスタリング精度評価を用いて、複数のデータセットにおける学習済み表現を分析する。

実験結果

リサーチクエスチョン

• RQ1 ドメイン固有の変換を介した疑似教師付き学習は、深層ニューラルネットワークにおける非教師ありクラスタリングをどのように改善するか？
• RQ2 回転、スケーリング、シアーなどの異なる変換タイプがクラスタリング性能に与える影響は何か？
• RQ3 グラフベース活動正則化は、複数のソフトマックスヘッドを専用化し、隠れたクラスタ構造を効果的に明らかにできるか？
• RQ4 提案手法は、MNIST、SVHN、USPSなどの標準ベンチマークで最先端のクラスタリング精度を達成できるか？

主な発見

• 回転に基づく8つの変換をすべて使用した場合、MNISTで98.32%（±0.08）のクラスタリング精度を達成し、新たな最先端を記録した。
• 4つの回転ベースの変換（90°および180°回転）のみを用いても97.80%の精度に達し、高い効率性を示した。
• 180°回転1つの変換でも、最先端の性能を達成できたことから、回転ベースの疑似教師付き学習の有効性が顕著に示された。
• スケーリング、シアー、平行移動、ピクセルの入れ替えよりも、回転ベースの変換が真の数字の識別をより顕著に明らかにした。
• t-SNE可視化と定量的精度指標の両面から、MNIST、SVHN、USPSのすべてのデータセットで、既存の最先端手法を上回った。
• 疑似親クラスを生成する際に用いる変換タイプは、変換の数よりもはるかに重要であり、特に数字のクラスタリングにおいて回転が最適であることが判明した。