[論文レビュー] Semi-supervised deep learning by metric embedding

Elad Hoffer, Nir Ailon|arXiv (Cornell University)|Feb 11, 2017

Face and Expression Recognition被引用数 5

ひとこと要約

本論文は、限られたラベル付きデータで一般化性能を向上させるために、メトリクス埋め込みを用いた半教師ありディープラーニング手法を提案する。ラベル付きサンプルと未ラベルデータの間の距離制約を通じて、判別的なユークリッド埋め込みを学習することで、最近傍分類法を用いた強い性能を達成し、低ショットベンチマークにおいて、標準的な教師ありおよび自己教師ありベースラインを上回る。

ABSTRACT

Deep networks are successfully used as classification models yielding state-of-the-art results when trained on a large number of labeled samples. These models, however, are usually much less suited for semi-supervised problems because of their tendency to overfit easily when trained on small amounts of data. In this work we will explore a new training objective that is targeting a semi-supervised regime with only a small subset of labeled data. This criterion is based on a deep metric embedding over distance relations within the set of labeled samples, together with constraints over the embeddings of the unlabeled set. The final learned representations are discriminative in euclidean space, and hence can be used with subsequent nearest-neighbor classification using the labeled samples.

研究の動機と目的

• 小規模なラベル付きデータセットでトレーニングされたディープネットワークにおける過学習の課題に対処すること。
• メトリクス学習を通じてラベル付きデータと未ラベルデータの両方を活用するトレーニング目的関数の開発。
• 有効な最近傍分類を可能にするユークリッド空間における判別的な表現の学習。
• 広範なハイパーパramータチューニングを必要とせずに、リソースが限られた半教師あり学習ベンチマークでの性能向上。

提案手法

• 本手法は、埋め込み空間におけるラベル付きサンプルの間の相対的距離関係を強制するためのディープメトリクス埋め込みを採用する。
• 未ラベルデータの埋め込みに制約を導入し、局所構造を保ち、ラベル付きデータと一貫性を持つようにする。
• ラベル付きペアにおけるメトリクス学習と未ラベルサンプルにおける正則化を組み合わせた損失関数により、凝縮され、分離可能なクラスタを促進する。
• 最終的な表現は確率的勾配降下法を用いてエンドツーエンドで最適化され、k-NN分類への直接的な利用が可能になる。
• 本手法は、強力なデータオーグメンテーションや対照的事前学習に依存せず、代わりに内在的な距離関係に焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きサンプルにおけるメトリクス学習は、低ショット半教師あり学習における一般化性能の向上に寄与するか？
• RQ2 未ラベルデータに対する距離制約は、学習された埋め込みの品質にどのように影響するか？
• RQ3 提案手法は、ラベルが限られた状況で、標準的な教師ありおよび自己教師ありベースラインを上回るか？
• RQ4 学習された埋め込みは、半教師あり環境下で、どの程度効果的なk-NN分類を可能にするか？

主な発見

• 本手法は、わずかなラベル付きデータの一部しか使用しない状況でも、複数の低ショット半教師あり学習ベンチマークで最先端の性能を達成する。
• モデルはラベル不足に対して頑健であり、CIFAR-10およびSTL-10において、標準的な教師あり学習と自己教師ありベースラインを上回る。
• ラベル付きデータに対するメトリクス制約の使用は、ユークリッド空間における埋め込みの判別性を顕著に向上させる。
• 学習された埋め込みを用いた最近傍分類は高い精度を達成し、表現学習の有効性を裏付けている。