[論文レビュー] Meta Pseudo Labels

Hieu Pham, Zihang Dai+3 more|arXiv (Cornell University)|Mar 23, 2020

Machine Learning and Data Classification被引用数 28

ひとこと要約

Meta Pseudo Labels は、教師ネットワークがラベル付きデータに対する学生のパフォーマンスに基づいて継続的に更新される半教師付き学習手法を提案する。このフィードバック駆動の適応により、偽ラベルの品質が向上し、ImageNet で 90.2% のトップ1精度を達成し、前人最高の 88.6% よりも 1.6% の向上を達成した。

ABSTRACT

We present Meta Pseudo Labels, a semi-supervised learning method that achieves a new state-of-the-art top-1 accuracy of 90.2% on ImageNet, which is 1.6% better than the existing state-of-the-art. Like Pseudo Labels, Meta Pseudo Labels has a teacher network to generate pseudo labels on unlabeled data to teach a student network. However, unlike Pseudo Labels where the teacher is fixed, the teacher in Meta Pseudo Labels is constantly adapted by the feedback of the student's performance on the labeled dataset. As a result, the teacher generates better pseudo labels to teach the student. Our code will be available at https://github.com/google-research/google-research/tree/master/meta_pseudo_labels.

研究の動機と目的

• 偽ラベル化における確認バイアスを是正すること、すなわち、不正確な教師が生成するラベルが学生のパフォーマンスを劣化させることを防ぐこと。
• 学生の学習状態に応じて動的に適応する教師を可能にすることで、半教師付き学習を改善すること。
• 少量のラベル付きデータと豊富なラベルなしデータを用いて、ImageNet などの大規模ベンチマークで最先端のパフォーマンスを達成すること。
• EfficientNet や ResNet を含む多様なアーキテクチャへのスケーラビリティを示すこと。
• CIFAR-10、SVHN、ImageNet を含む複数のデータセットで、フィードバックベースの教師適応の有効性を検証すること。

提案手法

• 本手法は、学生と教師のネットワークを並列に学習させ、学生は教師が生成したラベルなしデータに対する偽ラベルから学習する。
• 教師は、ラベル付き検証セットにおける学生のパフォーマンスから得られる報酬信号を用いて更新され、フィードバック駆動の適応が可能になる。
• 学生の損失関数は、ラベルなしデータにおける教師の偽ラベルと学生の予測との間の交差エントロピーである。
• 教師のパラメータは、学生のラベル付き損失を代理報酬信号として用いて勾配降下法で最適化される。
• 大規模な実験では、メモリ使用量を削減しながら性能を維持するため、簡略化された教師ネットワーク（例：5層のMLP）が用いられる。
• 本フレームワークは、ImageNet では EfficientNet-B7、CIFAR-10 および SVHN では EfficientNet-B0 を用いて適用され、TinyImages や YFCC-100M からのドメイン外のラベルなしデータが使用される。

実験結果

リサーチクエスチョン

• RQ1 学生のフィードバックに基づいて適応する教師ネットワークは、半教師付き学習における偽ラベル品質と一般化性能を向上させることができるか？
• RQ2 フィードバック駆動の教師適応は、偽ラベル化手法における確認バイアスを緩和するか？
• RQ3 Meta Pseudo Labels は、少量のラベル付きデータを用いて ImageNet などの大規模ベンチマークで最先端のパフォーマンスを達成できるか？
• RQ4 本手法は、異なるアーキテクチャやドメイン外のラベルなしデータにどのようにスケーリングできるか？
• RQ5 適応的教師は、NoisyStudent や FixMatch のような固定教師手法に比べて測定可能な利点を提供するか？

主な発見

• Meta Pseudo Labels は、ImageNet ILSVRC 2012 の検証セットで 90.2% のトップ1精度を達成し、前人最高の 88.6% よりも 1.6% の向上を記録した。
• ImageNet-ReaL テストセットでは 91.02% のトップ1精度を達成し、標準的な検証スプリットを超えた強力な一般化性能を示した。
• ラベル付き例が 4,000 個の CIFAR-10 では、98.56% の精度を達成し、NoisyStudent ベースラインより 0.34% の向上を示した。
• ラベル付き例が 1,000 個の SVHN では、98.78% の精度を達成し、NoisyStudent ベースラインと同等の性能を示した。これは、高品質なデータでは利点の増加が限界に達していることを示唆している。
• ラベル付きデータが 10% の ImageNet では、86.87% のトップ1精度を達成し、NoisyStudent の 85.81% よりも 1.06% の向上を示した。
• 簡略化された教師バージョンは、性能を維持しながらメモリ使用量を顕著に削減でき、123万ラベル付き例を用いた ImageNet における大規模な実験を可能にした。