[論文レビュー] Unsupervised Few-shot Learning via Self-supervised Training

Zilong Ji, Xiaolong Zou+2 more|arXiv (Cornell University)|Dec 20, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 14

ひとこと要約

本稿では、自己教師あり学習を用いた教師なし少サンプル学習（UFLST）という新規手法を提案する。この手法は、ラベルなしデータの段階的クラスタリングにより仮ラベルを付与するエピソード的タスクを生成し、そのタスクで少サンプル学習者をエピソード的に訓練することで、特徴表現を改善するという、反復的な交互プロセスを採用する。本手法は、OmniglotとMini-ImageNetで最先端の性能を達成し、Market1501でも競争力ある結果を示し、実際のラベルが一切不要な状況でも教師ありベースラインに近い性能を発揮する。

ABSTRACT

Learning from limited exemplars (few-shot learning) is a fundamental, unsolved problem that has been laboriously explored in the machine learning community. However, current few-shot learners are mostly supervised and rely heavily on a large amount of labeled examples. Unsupervised learning is a more natural procedure for cognitive mammals and has produced promising results in many machine learning tasks. In the current study, we develop a method to learn an unsupervised few-shot learner via self-supervised training (UFLST), which can effectively generalize to novel but related classes. The proposed model consists of two alternate processes, progressive clustering and episodic training. The former generates pseudo-labeled training examples for constructing episodic tasks; and the later trains the few-shot learner using the generated episodic tasks which further optimizes the feature representations of data. The two processes facilitate with each other, and eventually produce a high quality few-shot learner. Using the benchmark dataset Omniglot and Mini-ImageNet, we show that our model outperforms other unsupervised few-shot learning methods. Using the benchmark dataset Market1501, we further demonstrate the feasibility of our model to a real-world application on person re-identification.

研究の動機と目的

• 現実世界の状況では高価で非現実的であるため、最小限のラベル付きデータでの少サンプル学習の課題に対処すること。
• 人間のような自己教師ありで段階的な学習を模倣する、自己教師ありフレームワークを構築すること。
• 教師なしクラスタリングとエピソード的訓練を統合的に反復的に処理することで、特徴表現とタスク構築を同時に最適化するプロセスを確立すること。
• 実世界の応用、例えば人物再識別において、教師なし少サンプル学習の実現可能性と有効性を示すこと。

提案手法

• モデルは2つのプロセスを交互に実行する：ラベルなしデータの段階的クラスタリングにより、学習済み特徴に基づいて仮ラベルを付与し、その仮ラベル付きタスクでエピソード的訓練を行う。
• 各イテレーションで、特徴埋め込みを用いてクラスタを形成し、それらのクラスタからサポートセットとクエリセットをサンプリングして、仮ラベル付きのエピソード的タスクを構築する。
• 少サンプル学習者はこれらのエピソード的タスクで訓練され、その結果得られた特徴表現が次のクラスタリング段階で再利用される。
• メトリクス学習にはハードトライアングル損失を採用しており、ノイズが多いまたは変動の大きいサンプルに対しても、プロトタイプベースの損失よりもより頑健であることが示されている。
• 収束するまでこのプロセスを繰り返すことで、実際のラベルが一切不要な状況でも、転移可能で一般化可能な表現を学習可能となる。
• 本手法は、Omniglot、Mini-ImageNet、Market1501を対象とし、標準的な少サンプルベンチマークおよび人物再識別プロトコルを用いて評価されている。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータを用いて、教師なしクラスタリングとエピソード的訓練を同時に最適化することで、少サンプル一般化性能を向上させることができるか？
• RQ2 特徴表現と仮ラベルの反復的精錬が、少サンプル学習性能に与える影響は何か？
• RQ3 自己教師ありフレームワークは、完全に教師ありモデルと同等の性能を達成できるか？
• RQ4 ラベルなしデータの数が限られている状況でも、本手法はどれほど頑健か？
• RQ5 本モデルは、最小限のアノテーションで実世界の応用、例えば人物再識別においても効果的に一般化できるか？

主な発見

• Omniglotでは、UFLSTにハードトライアングル損失を適用した場合、1ショット5ウェイ学習で97.03%、1ショット20ウェイ学習で97.37%の精度を達成し、すべてラベルなしデータでの学習に成功した。
• Mini-ImageNetでは、他の教師なし少サンプル学習手法を上回り、教師ありベースラインに近い性能を示した。
• Market1501では、UFLSTにハードトライアングル損失を適用した場合、1ショット5ウェイ人物再識別で91.4%の精度を達成し、低ショット設定では教師ありモデルを上回った。
• Omniglotでラベルなしデータの25%しか使用しなかった場合でも、他の教師なし手法と同等の性能を達成し、データ効率の高さを示した。
• ハードトライアングル損失は、特に歩行者再識別のようなノイズが多く、変動が激しい状況では、プロトタイプ損失を顕著に上回った。
• クラスタリングとエピソード的訓練の反復的交互処理により、分離されたクラスタリングと訓練パイプラインに比べ、優れた特徴表現が得られた。