[論文レビュー] A Realistic Evaluation of Semi-Supervised Learning for Fine-Grained Classification

Jong-Chyi Su, Zezhou Cheng+1 more|arXiv (Cornell University)|Apr 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 49被引用数 7

ひとこと要約

本論文は、長尾クラス分布と外部クラスのラベルなしデータを伴う現実的な細分化分類設定における半教師あり学習（SSL）を評価する。外部クラスのデータは、SSLをスクラッチから学習する場合に有益であるが、特に外部クラスのデータが存在する状況では、事前学習済みの専門家を用いた微調整と蒸留に基づく自己学習の方が、SSLよりもはるかに効果的かつ頑健であることが判明した。

ABSTRACT

We evaluate the effectiveness of semi-supervised learning (SSL) on a realistic benchmark where data exhibits considerable class imbalance and contains images from novel classes. Our benchmark consists of two fine-grained classification datasets obtained by sampling classes from the Aves and Fungi taxonomy. We find that recently proposed SSL methods provide significant benefits, and can effectively use out-of-class data to improve performance when deep networks are trained from scratch. Yet their performance pales in comparison to a transfer learning baseline, an alternative approach for learning from a few examples. Furthermore, in the transfer setting, while existing SSL methods provide improvements, the presence of out-of-class is often detrimental. In this setting, standard fine-tuning followed by distillation-based self-training is the most robust. Our work suggests that semi-supervised learning with experts on realistic datasets may require different strategies than those currently prevalent in the literature.

研究の動機と目的

• クラスの不均衡と外部クラスのデータを伴う現実的な状況における半教師あり学習（SSL）の有効性を評価すること。
• 事前学習済みモデル（転移学習）を用いる場合とスクラッチから学習する場合のSSL性能を比較すること。
• 実用的設定において、外部クラスのラベルなしデータがSSL性能に良い影響を与えるか、悪影響を与えるかを調査すること。
• 現実のデータ分布とドメインシフトに配慮した細分化分類における、頑健なSSL戦略を同定すること。

提案手法

• 本研究は、AvesおよびFungiの分類群からクラスをサンプリングし、長尾クラス分布と、インクラスおよび外部クラスの両方のラベルなしデータを含む、2つのベンチマークデータセット（Semi-AvesおよびSemi-Fungi）を構築した。
• Pseudo-Label、Curriculum Pseudo-Label、FixMatch、および蒸留に基づく自己学習を含む複数のSSL手法を、ImageNetおよびiNaturalistの事前学習済みモデルを用いた微調整とスクラッチからの学習の両方で評価した。
• 性能評価は、ドメイン内ラベルなしデータ（$U_{in}$）とインクラスおよび外部クラスの両方のデータ（$U_{in}+U_{out}$）を用い、しきい値設定と蒸留損失に関するアブレーションスタディを実施した。
• 再現性を確保するため、FixMatchには公式実装と再実装の両方を用い、実装間で最も良い結果を報告した。
• 予測の信頼度、エントロピー、および蒸留損失を用いてモデルの不確実性を分析し、SSLモデルがインクラスと外部クラスのデータをどのように扱っているかを理解した。
• 実験では、教師ありベースライン、SSL手法、および外部クラスデータの有無にかかわらず微調整と蒸留に基づく自己学習を比較し、主に正解率を指標として使用した。

Figure 1: Accuracy of semi-supervised learning (SSL) algorithms on the Semi-Aves and Semi-Fungi datasets (see Fig. 2 ) using (i) different pre-trained models, and (ii) in-class ( $U_{in}$ ) and out-of-class ( $U_{in}+U_{out}$ ) unlabeled data. The performances of the supervised baseline and supervis

実験結果

リサーチクエスチョン

• RQ1 長尾分布でかつ外部クラス画像を含む状況下で、半教師あり学習は細分化分類の性能向上に有効に働くか？
• RQ2 事前学習済みモデルを用いる場合とスクラッチから学習する場合の両方で、外部クラスのラベルなしデータがSSL性能に与える影響は何か？
• RQ3 ドメインシフトを伴う現実的なベンチマークにおいて、既存のSSL手法は外部クラスデータを信頼性を持って活用できるか？
• RQ4 少サンプル設定において、微調整と蒸留に基づく自己学習を用いた転移学習は、スクラッチからのSSLよりも効果的か？

主な発見

• スクラッチからの学習では、自己教師あり事前学習に続く蒸留に基づく自己学習が最高の性能を発揮し、外部クラスデータの恩恵を顕著に受けていた。
• 微調整と蒸留に基づく自己学習を用いた転移学習は、すべてのSSL手法を上回り、Semi-Avesで5,000ラベルの条件下で97.2％の正解率を達成し、スクラッチで学習したFixMatchでさえも上回った。
• 転移学習の設定では、外部クラスのラベルなしデータが性能を悪化させる傾向があり、特にFixMatch や Pseudo-Label に対して顕著であった。
• 外部クラスデータが存在する状況でも、蒸留に基づく自己学習が最も頑健なSSL手法であり、さまざまな設定で安定した性能を維持していた。
• Pseudo-Labelはしきい値の選定に敏感であり、高いしきい値に設定すると外部クラスデータの悪影響が軽減されるが、同時に利用可能なラベルなしデータの量も減少する。
• どのSSL手法に対しても、ドメインシフトが小さい場合でさえも、外部クラスデータを信頼性を持って活用できず、現実の設定において現在のアプローチの主要な限界が示された。

Figure 2: The proposed benchmark for semi-supervised learning. The benchmark contains two datasets, with classes from the Aves and Fungi taxa respectively. Each represents a 200-way classification task and the training set contains (i) labeled images from these classes $L_{in}$ , (ii) unlabeled imag