[論文レビュー] Auto-clustering Output Layer: Automatic Learning of Latent Annotations in Neural Networks

Ozsel Kilinc, Ismail Uysal|arXiv (Cornell University)|Feb 28, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用数 4

ひとこと要約

本稿では、部分的監視下で、粗い親クラスラベルは提供されるが、細かい潜在的サブクラスを発見する必要がある状況において、教師あり分類と教師なしクラスタリングを統合的に実行できる、新しいニューラルネットワーク出力層であるAuto-clustering Output Layer（ACOL）を提案する。親クラスごとにソフトマックスノードを複製し、グラフベース活動正則化（GAR）を適用することで、明示的なラベルなしにサブクラス構造を学習可能であり、MNIST、SVHN、CIFAR-100で最先端のクラスタリング精度を達成した。

ABSTRACT

In this paper, we discuss a different type of semi-supervised setting: a coarse level of labeling is available for all observations but the model has to learn a fine level of latent annotation for each one of them. Problems in this setting are likely to be encountered in many domains such as text categorization, protein function prediction, image classification as well as in exploratory scientific studies such as medical and genomics research. We consider this setting as simultaneously performed supervised classification (per the available coarse labels) and unsupervised clustering (within each one of the coarse labels) and propose a novel output layer modification called auto-clustering output layer (ACOL) that allows concurrent classification and clustering based on Graph-based Activity Regularization (GAR) technique. As the proposed output layer modification duplicates the softmax nodes at the output layer for each class, GAR allows for competitive learning between these duplicates on a traditional error-correction learning framework to ultimately enable a neural network to learn the latent annotations in this partially supervised setup. We demonstrate how the coarse label supervision impacts performance and helps propagate useful clustering information between sub-classes. Comparative tests on three of the most popular image datasets MNIST, SVHN and CIFAR-100 rigorously demonstrate the effectiveness and competitiveness of the proposed approach.

研究の動機と目的

• 粗い親クラスラベルしか提供されないが、細かい潜在的アノテーションを発見する必要がある、新しい半教師あり設定に対処すること。
• 明示的なサブクラスラベルなしに、ニューラルネットワークが親クラスにおける教師あり分類と、親クラス内における教師なしクラスタリングを同時に実行できるようにすること。
• 親クラスの監視のみを用いて、自動的にサブクラス構造を学習できるスケーラブルでエンドツーエンド微分可能なフレームワークを構築すること。
• 標準的な画像ベンチマーク上で、粗い監視がサブクラス発見にどのように寄与するかを実証すること。

提案手法

• 各親クラスに対して出力層にソフトマックスノードを複製する、Auto-clustering Output Layer（ACOL）を提案する。これにより、1つの親クラスに複数のサブクラスタが対応可能となる。
• 複製されたソフトマックスノード間の競争と特化を促進するため、グラフベース活動正則化（GAR）を導入する。
• 親クラス分類のための交差エントロピー損失と、サブクラスタ発見のためのGARベース正則化を組み合わせた共同目的関数を定式化する。
• 標準的なバックプロパゲーションを用いてネットワークを訓練し、GAR項が各親クラス内での明確な潜在的アノテーションの学習を導くようにする。
• t-SNE可視化を用いて、学習されたサブクラスタ構造の定性的な妥当性を検証する。
• テストセットにおける非教師ありクラスタリング精度を用いて性能を評価し、k-means、GMM、自己符号化器ベースのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 粗い親クラスラベルしか与えられない状況下で、ニューラルネットワークが細かい潜在的サブクラスを学習できるか？
• RQ2 グラフベース活動正則化（GAR）は、サブクラスタ発見のための複製されたソフトマックスノードの特化をどのように向上させるか？
• RQ3 粗い親クラスラベルの監視が、学習された潜在的アノテーションの質をどの程度向上させるか？
• RQ4 明示的なサブラベルが存在しない状況下で、ACOLは従来のクラスタリング手法や自己符号化器ベース手法と比べてどのように性能を発揮するか？
• RQ5 CIFAR-100のように親クラスの一般化性能が低い場合、サブクラスタ学習の性能は劣化するか？

主な発見

• MNISTとSVHNでは、ACOLがそれぞれk=5のとき36.90%、k=10のとき21.66%のテスト誤差を達成し、k-means、GMM、自己符号化器ベースのベースラインを上回った。
• 20個のスーパークラスを持つCIFAR-100では、k=5のとき、学習誤差が44.64%、テスト誤差が62.17%であった。これは、親クラス分類の一般化性能が低いことが性能の限界要因であることを示している。
• t-SNE可視化により、親クラス内に明確な分離が得られており、モデルが意味のあるサブクラスタ構造を学習していることが確認された。
• GAR正則化は、複製されたソフトマックスノード間の競争を効果的に誘導し、特化したサブクラスタ表現の学習を可能にした。
• 親クラスラベルの監視は、ネットワークがテストセットで良好に一般化できる場合、特にサブクラスタ発見の質を向上させた。
• ACOLは多様なベンチマークで堅牢で競争力のある性能を示し、この部分的監視下クラスタリング設定において、新たな最先端の性能を確立した。