[論文レビュー] Meta-Semi: A Meta-learning Approach for Semi-supervised Learning

Yulin Wang, Jiayi Guo+2 more|arXiv (Cornell University)|Jul 5, 2020

Domain Adaptation and Few-Shot Learning被引用数 8

ひとこと要約

Meta-Semi は、ラベル付きデータの教師あり損失を最小化するために、ソフトプシーソラベルを用いてラベルなしサンプルを動的に再重み付けするメタラーニング的手法を提案する。この手法は、追加のハイパーパrameterをたった1つしか調整せず、CIFAR-100 および STL-10 で最先端の性能を達成し、ハイパーパrameter設定に対して頑健であり、ややいなめの条件下で定常点に収束する。

ABSTRACT

Deep learning based semi-supervised learning (SSL) algorithms have led to promising results in recent years. However, they tend to introduce multiple tunable hyper-parameters, making them less practical in real SSL scenarios where the labeled data is scarce for extensive hyper-parameter search. In this paper, we propose a novel meta-learning based SSL algorithm (Meta-Semi) that requires tuning only one additional hyper-parameter, compared with a standard supervised deep learning algorithm, to achieve competitive performance under various conditions of SSL. We start by defining a meta optimization problem that minimizes the loss on labeled data through dynamically reweighting the loss on unlabeled samples, which are associated with soft pseudo labels during training. As the meta problem is computationally intensive to solve directly, we propose an efficient algorithm to dynamically obtain the approximate solutions. We show theoretically that Meta-Semi converges to the stationary point of the loss function on labeled data under mild conditions. Empirically, Meta-Semi outperforms state-of-the-art SSL algorithms significantly on the challenging semi-supervised CIFAR-100 and STL-10 tasks, and achieves competitive performance on CIFAR-10 and SVHN.

研究の動機と目的

• 既存の一貫性ベースの半教師あり学習（SSL）手法におけるハイパーパrameterへの感受性と高い計算コストの課題に対処すること。
• ラベル付きデータとラベルなしデータの関係を明示的にモデル化することで、深層SSLにおけるラベル付きデータの利用効率を向上させること。
• SSLアルゴリズムにおける調整可能なハイパーパrameterの数を減らし、ラベルデータが限られる現実世界のシナリオにおいてより実用的になるようにすること。
• 理論的裏付けがあり収束性を保証する方法を開発し、ラベル付き損失に与える影響に基づいてラベルなしサンプルを動的に再重み付けすること。

提案手法

• ラベル付き損失を最小化するために、ソフトプシーソラベルを用いてラベルなしサンプルに重みを動的に調整する二段階最適化問題を定式化する。
• 各イテレーションで1回のメタ勾配ステップを用いる効率的な近似法を提案し、近似的に最適な再重み付け係数を計算する。
• 近似解に基づいてラベルなしサンプルに動的な 0-1 重み付け戦略を導入し、実装可能性を高める。
• メタ更新ステップに閉形式解を採用することで、二段階構造にもかかわらず計算効率を確保する。
• 一般化性能を向上させるために、MixUp や EMA といった標準的な SSL 要因を統合しつつ、ハイパーパrameterの調整を最小限に抑える。
• 理論的分析により、ややいなめの条件下で、教師あり損失関数の定常点に収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、半教師あり学習におけるハイパーパrameterの数を減らしつつ、性能を維持または向上させることができるか？
• RQ2 トレーニング中にラベルなしデータをどのように再重み付けすれば、ラベル付きデータの損失を最小化し、一般化性能を向上させられるか？
• RQ3 動的再重み付けに基づくプシーソラベル戦略は、均一または固定重み付けよりも収束が速く、性能が優れているか？
• RQ4 特にデータが少ない状況下で、単一の調整可能なハイパーパrameterの変動に対して、この手法は頑健か？
• RQ5 Meta-Semi は、ICT や MixMatch といった既存の一致性ベースのSSL技術と効果的に組み合わせられるか？

主な発見

• Meta-Semi は、挑戦的な CIFAR-100 および STL-10 ベンチマークで最先端の性能を達成し、10,000 個および 4,000 個のラベル付きサンプルを使用した場合、それぞれテスト誤差が 30.51% および 37.12% であった。
• CIFAR-10 では、4,000 個のラベル付きサンプルを使用した場合、テスト誤差が 3.86% にまで低下し、先行する最先端手法を上回った。
• ハイパーパラメータの設定に対して頑健であり、調整可能なハイパーパラメータの値が異なる場合でも、性能の低下が最小限に抑えられた。
• アブレーションスタディにより、ラベルなしデータに対するパラメータのEMA と MixUp が高性能を達成するために不可欠であることが確認された。また、定数重み付け（w=1）では Meta-Semi は標準的一致性手法に還元される。
• Meta-Semi + ICT によりさらなる性能向上が得られ、既存の一貫性ベースの技術と相乗効果を発揮することが示された。
• 二段階最適化によるイテレーションあたりのコストが高いため、Meta-Semi は固定トレーニング時間枠内での収束が早く、ベースラインを上回った。