[論文レビュー] Unsupervised Meta-Learning via Few-shot Pseudo-supervised Contrastive Learning

Huiwon Jang, Hankook Lee+1 more|arXiv (Cornell University)|Mar 2, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本論文は、未学習データから段階的に改善される疑似ラベル付けと、アンラベルドデータからの多様なタスク構築を可能にする、モーメンタムネットワークとモーメンタムキューを用いた、少サンプル分類のための新しい教師なしメタラーニングフレームワークPsCoを提案する。オンラインで動的にタスクを構築する自己教師付き対照学習を活用することで、OmniglotおよびminiImageNetで最先端の性能を達成し、大規模なImageNetにも効果的にスケーリングされ、先行する教師なしメタラーニング手法を上回る。

ABSTRACT

Unsupervised meta-learning aims to learn generalizable knowledge across a distribution of tasks constructed from unlabeled data. Here, the main challenge is how to construct diverse tasks for meta-learning without label information; recent works have proposed to create, e.g., pseudo-labeling via pretrained representations or creating synthetic samples via generative models. However, such a task construction strategy is fundamentally limited due to heavy reliance on the immutable pseudo-labels during meta-learning and the quality of the representations or the generated samples. To overcome the limitations, we propose a simple yet effective unsupervised meta-learning framework, coined Pseudo-supervised Contrast (PsCo), for few-shot classification. We are inspired by the recent self-supervised learning literature; PsCo utilizes a momentum network and a queue of previous batches to improve pseudo-labeling and construct diverse tasks in a progressive manner. Our extensive experiments demonstrate that PsCo outperforms existing unsupervised meta-learning methods under various in-domain and cross-domain few-shot classification benchmarks. We also validate that PsCo is easily scalable to a large-scale benchmark, while recent prior-art meta-schemes are not.

研究の動機と目的

• 固定された低品質の疑似ラベルや複雑な生成モデルに依存する既存の教師なしメタラーニング手法の限界を解消すること。
• 人間によるアノテーションが不要な、スケーラブルで自己教師付きのフレームワークを構築し、メタラーニング中に段階的に疑似ラベル付けを改善すること。
• ラベルなしデータと過去のバッチのオンラインメモリのみを用いて、多様な少サンプル分類タスクを構築すること。
• 自己教師付き学習（SSL）の要素（例：モーメンタムネットワーク、対照学習）を教師なしメタラーニング（UML）に適応させることで、SSLとUMLのギャップを埋めること。
• 監視なしで、ImageNetのような大規模なベンチマークでも効果的な少サンプル分類を可能にすること。

提案手法

• PsCoは、現在のミニバッチをクエリとして用い、過去のバッチのモーメンタムキューから$K$個のサポートサンプルを選択することで、$N$-way $K$-shotタスクを構築する。
• バックボーンネットワークのパラメータの指数的移動平均を維持することで、安定的かつ進化する疑似ラベルを生成するためのモーメンタムネットワークを採用する。
• 類似度行列に対してSinkhorn-Knoppアルゴリズムを適用し、微分可能な疑似ラベルを割り当てることで、エンドツーエンドの学習を可能にする。
• 対照学習の目的関数を用いてモデルを最適化し、ポジティブペア（クエリとその割り当てられたサポートサンプル）を引き寄せ、ネガティブペアを遠ざける。
• モーメンタムキューは過去のバッチからの特徴を格納し、リアルタイムで更新されることで、多様で代表的なタスク構築を可能にする。
• 全体のシステムは、モーメンタムネットワークとキューから導出された疑似ラベルを用いた教師付き対照学習によって訓練され、タスク品質の段階的改善が可能になる。

実験結果

リサーチクエスチョン

• RQ1 自己教師付きメタラーニングフレームワークは、固定または事前学習済みのラベルに依存せずに、トレーニング中に疑似ラベル付けを動的に改善できるか？
• RQ2 オンラインメモリとモーメンタムメカニズムのみを用いて、未ラベルデータから多様で代表的な少サンプルタスクをどのように構築できるか？
• RQ3 モーメンタムネットワークと過去の特徴のキューから導出された疑似ラベルを用いた場合、対照学習の目的関数が少サンプル分類のためのモデル訓練に効果的に機能するか？
• RQ4 提案手法は、計算およびメモリ制約のため従来の教師なしメタラーニング手法が失敗する大規模なベンチマーク（例：ImageNet）にも、効果的にスケーリングできるか？
• RQ5 教師付きメタラーニングベースラインと比較して、提案されたPsCoフレームワークは少サンプル一般化性能においてどのように差をつけるか？

主な発見

• PsCoは、5-way 1-shotおよび5-way 5-shot設定の両方で、Omniglotベンチマークにおいて、先行する教師なしメタラーニング手法を上回る最先端の性能を達成した。
• miniImageNetでは、5-way 50-shot設定で73.50%の精度を達成し、従来のSOTA教師なしメタラーニング手法を上回った。
• PsCoはドメインシフトがかかるデータに対して評価された際も、高い一般化性能を示した。
• アブレーションスタディの結果、モーメンタムキューとSinkhorn-Knoppに基づくラベル割り当てが顕著に性能向上をもたらし、ベースライン比で最大2.5%の精度向上を達成した。
• PsCoは大規模なImageNetベンチマークにも効果的にスケーリングされ、従来の教師なしメタラーニング手法が計算およびメモリ制約のため失敗する状況でも有効であった。
• ハイパーパramータの選択に対して頑健であり、$K$の値が1から64に変化しても性能低下が最小限に抑えられ、安定的で汎用性の高い学習を示した。