[論文レビュー] Local Label Propagation for Large-Scale Semi-Supervised Learning

Chengxu Zhuang, Xuehao Ding+2 more|arXiv (Cornell University)|May 28, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 7

ひとこと要約

本論文は、スケーラビリティに優れた半教師あり学習手法であるローカルラベル伝播（LLP）を提案する。この手法は、深層ニューラルネットワークを用いてラベルありおよびラベルなしデータを共有の潜在空間に埋め込み、局所的な幾何構造に基づいて疑似ラベルを伝播させる。この際、近接性と局所的密度を優先する。同時に分類精度とクラスタの凝集性を最適化する。LLPは、さまざまな学習設定においてImageNetで最先端の性能を達成し、Places205における転移学習にも良好に一般化する。

ABSTRACT

A significant issue in training deep neural networks to solve supervised learning tasks is the need for large numbers of labelled datapoints. The goal of semi-supervised learning is to leverage ubiquitous unlabelled data, together with small quantities of labelled data, to achieve high task performance. Though substantial recent progress has been made in developing semi-supervised algorithms that are effective for comparatively small datasets, many of these techniques do not scale readily to the large (unlaballed) datasets characteristic of real-world applications. In this paper we introduce a novel approach to scalable semi-supervised learning, called Local Label Propagation (LLP). Extending ideas from recent work on unsupervised embedding learning, LLP first embeds datapoints, labelled and otherwise, in a common latent space using a deep neural network. It then propagates pseudolabels from known to unknown datapoints in a manner that depends on the local geometry of the embedding, taking into account both inter-point distance and local data density as a weighting on propagation likelihood. The parameters of the deep embedding are then trained to simultaneously maximize pseudolabel categorization performance as well as a metric of the clustering of datapoints within each psuedo-label group, iteratively alternating stages of network training and label propagation. We illustrate the utility of the LLP method on the ImageNet dataset, achieving results that outperform previous state-of-the-art scalable semi-supervised learning algorithms by large margins, consistently across a wide variety of training regimes. We also show that the feature representation learned with LLP transfers well to scene recognition in the Places 205 dataset.

研究の動機と目的

• 大規模データセットでスケーリングが著しく悪い、グローバル類似度計算に依存する既存の半教師あり学習手法のスケーラビリティの限界を解決すること。
• ImageNetのような大規模学習シナリオにおいて、スパースなラベル付きデータと豊富なラベルなしデータを効果的に活用する手法を開発すること。
• 埋め込み空間における疑似ラベル付きデータの分類性能とクラスタの凝集性を同時に最適化することで、表現学習を向上させること。
• オブジェクト分類を越えた下流タスク、例えばシーン認識などへの強力な転送性を実現すること。

提案手法

• ラベルありおよびラベルなしデータを、共通の低次元潜在空間に埋め込むように深層ニューラルネットワークを訓練する。
• 点間距離と局所的データ密度に基づいて重み付けされた、局所的近傍構造に基づく、既知の例から未知の例へのラベル伝播を実行する。
• 局所的密度に重み付けされた確率モデルを用いて伝播の可能性を調整し、ラベルが既に密集している領域を優先する。
• 二重の目的関数によりネットワークを最適化する：(1) 疑似ラベルにおける交差エントロピー損失（真のラベルに対して高い重みを付与）、(2) 同じ疑似ラベルを持つ点が埋め込み空間で凝集するよう促すクラスタリング損失。
• ラベル伝播とネットワーク訓練を繰り返し交互に実行することで、表現と疑似ラベル割り当ての両方を改善する。
• 効率的な評価のため、特徴量のメモリバンクと近隣探索による推論を用いる。

実験結果

リサーチクエスチョン

• RQ1 学習された埋め込み空間における局所的幾何構造を、ImageNetのような大規模データセットにまでスケーラブルにラベル伝播に活用できるか？
• RQ2 グローバル類似度ベースの手法と比較して、ラベル伝播に局所的密度を組み込むことで性能がどのように向上するか？
• RQ3 分類とクラスタリングの目的関数を同時に最適化することで、表現品質と下流タスクの精度がどの程度向上するか？
• RQ4 LLPで学習された特徴量は、オブジェクト分類を越えて、例えばシーン認識のようなタスクにおいて、どの程度一般化するか？

主な発見

• LLPは、ラベル数が非常に少ない設定を含め、すべてのテストされた学習設定においてImageNetで最先端の性能を達成した。
• 本手法は、[29, 18, 24, 16, 6, 22] に示されるような先行のスケーラブルな半教師あり学習アルゴリズムを、ImageNetにおいて顕著に上回った。
• LLPの特徴量はPlaces205データセットに効果的に転送され、シーン認識性能が向上した。
• アブレーションスタディの結果、局所的近傍選択（K）、信頼度重み付け、統合損失、密度重み付き伝播がすべて性能に重要であることが確認された。
• 元のアノテーションにそのようなラベルが存在しないにもかかわらず、多様なモードを持つカテゴリ（例：「ラブラドル」が「黒」および「イエロー」のサブタイプに分かれること）においても、意味のあるサブクラスタを学習済み埋め込みが捉えている。
• 本手法は、小規模なサブセット（50カテゴリ、1カテゴリあたり50枚の画像）においても強力な性能を維持しており、グローバル伝播手法と比較しても競争力があることが示された。