[論文レビュー] Semi-Supervised Learning via Compact Latent Space Clustering

Konstantinos Kamnitsas, Daniel C. Castro+7 more|ArXiv.org|Jun 7, 2018

Domain Adaptation and Few-Shot Learning被引用数 42

ひとこと要約

半教師あり学習法を紹介し、動的グラフ構築とラベル伝播を用いて潜在空間でクラス特異的なコンパクトなクラスタを形成し、ニューラルネットを正則化する。

ABSTRACT

We present a novel cost function for semi-supervised learning of neural networks that encourages compact clustering of the latent space to facilitate separation. The key idea is to dynamically create a graph over embeddings of labeled and unlabeled samples of a training batch to capture underlying structure in feature space, and use label propagation to estimate its high and low density regions. We then devise a cost function based on Markov chains on the graph that regularizes the latent space to form a single compact cluster per class, while avoiding to disturb existing clusters during optimization. We evaluate our approach on three benchmarks and compare to state-of-the art with promising results. Our approach combines the benefits of graph-based regularization with efficient, inductive inference, does not require modifications to a network architecture, and can thus be easily applied to existing networks to enable an effective use of unlabeled data.

研究の動機と目的

• クラスタ仮定を動機づけ、活用するために、潜在空間であるクラスのすべてのサンプルが単一のコンパクトなクラスタを形成するように強制する。
• 訓練中にラベル付きおよびラベルなしのバッチ埋め込みの進化する構造を捉えるグラフベースの仕組みを開発する。
• 潜在空間における高密度領域と低密度領域を推定するためにラベル伝播を用い、ネットワークアーキテクチャを変更せずに潜在表現を正則化する。
• 未ラベルデータを活用し、標準の教師あり学習を補完する効率的な誘導的SSL正則化子を提供する。

提案手法

• ラベル付きおよびラベルなしサンプルの埋め込みを用いて、各SGD反復でネットワークの潜在空間に完全結合グラフを動的に構築する。
• このグラフ上でラベル伝播を適用して潜在空間のクラス事後確率を推定し、データのマニフォールド構造を捉える。
• グラフ上のマルコフ連鎖に基づく正則化子（CCLP）を定義し、既存の高密度領域を保持しつつクラスごとに単一のコンパクトなクラスタを促進する。
• LP事後確率から導出されたソフトターゲット遷移行列Tを用い、複数ステップs=1,...,Sに渡るクロスエントロピー目的関数を介して遷移行列HをTと一致させるよう促す。
• L_total = 監督付き損失 + w * L_CCLP の結合損失で訓練し、L_CCLPはSステップにわたって総括してさまざまな長さのパスをモデル化する。

実験結果

リサーチクエスチョン

• RQ1 限定的なラベルデータで標準ベンチマーク全般において、ラベル伝播によるコンパクトクラスタリング（CCLP）はSSLの分類性能を向上させるか。
• RQ2 マルコフ連鎖のステップ数Sがコンパクトクラスタの形成と下流精度にどのように影響するか。
• RQ3 すべてのラベルが利用可能な場合に、提案された潜在空間正則化子が完全に教師あり学習を補完し改善できるか。
• RQ4 生成モデルや摂動ベースの正則化器に依存する最先端のSSL手法とCCLPはどのように比較されるか。

主な発見

• CCLPは、限定的なラベルデータ設定の下で、MNIST、SVHN、CIFAR-10におけるSSL性能を他のいくつかの現代的なSSL手法と比較して向上させる。
• この正則化子は、全てのラベル付きデータが使用される場合でも一貫した改善を提供し、完全に教師あり系にも利益をもたらすことを示している。
• より多くのLPステップ（S）を使用すると、グローバル構造を促進して一般に性能が向上するが、ステップ数が少なすぎるとクラスタリングが劣化する点まで。
• CCLPは実装が簡単で、追加のネットワークコンポーネント（例：GANやVAE）を必要とせず、既存のアーキテクチャに潜在空間正則化子として適用できる。
• CCLPの勾配信号は潜在空間の幾何により推進され、分類器境界とほぼ独立しており、一部のエントロピーに基づく正則化子と比べて確証バイアスのリスクを低減する。