[論文レビュー] The Semi-Supervised iNaturalist-Aves Challenge at FGVC7 Workshop

Jong-Chyi Su, Subhransu Maji|arXiv (Cornell University)|Mar 11, 2021

Domain Adaptation and Few-Shot Learning参考文献 16被引用数 14

ひとこと要約

本論文は、クラス不均衡、ドメインシフト、トランスファー学習を反映する現実的な課題を有する、細分類視覚認識のための半教師あり学習ベンチマークであるSemi-Avesを紹介する。1,000種の鳥が含まれ、200種がクラス内カテゴリ（3,959枚のラベル付き画像）で、残りの800種がクラス外の新規カテゴリ（122,208枚のラベルなし画像）として扱われる。テストセットで最高の手法が90.1%のTop-1正答率を達成した。クラス内ラベルなしデータに対する疑似ラベル付けが最も効果的であったが、クラス外データからの利益は限定的であった。

ABSTRACT

This document describes the details and the motivation behind a new dataset we collected for the semi-supervised recognition challenge~\cite{semi-aves} at the FGVC7 workshop at CVPR 2020. The dataset contains 1000 species of birds sampled from the iNat-2018 dataset for a total of nearly 150k images. From this collection, we sample a subset of classes and their labels, while adding the images from the remaining classes to the unlabeled set of images. The presence of out-of-domain data (novel classes), high class-imbalance, and fine-grained similarity between classes poses significant challenges for existing semi-supervised recognition techniques in the literature. The dataset is available here: \url{https://github.com/cvl-umass/semi-inat-2020}

研究の動機と目的

• クラス不均衡や新規クラスといった現実世界の課題を反映する、半教師あり学習（SSL）のための現実的でないベンチマークの不足に対処すること。
• ラベル付きデータとラベルなしデータの間のドメインシフトを含む現実的な条件下で、SSL手法の評価が可能なデータセットを構築すること。
• ImageNetからのトランスファー学習が、細分類視覚認識におけるSSLパフォーマンスに与える影響を調査すること。
• FGVC7でチャレンジを主催し、現実的で大規模な鳥認識データセット上で最先端のSSL技術を評価すること。

提案手法

• 1,000種の鳥がiNaturalist-2018データセットから選ばれ、そのうち200種がクラス内（ラベル付き）として指定され、残りの800種がクラス外（ラベルなし）として指定された。
• ラベル付き画像（3,959枚）は200種のクラス内から収集され、各クラスに最低5枚の画像が確保された。残りの26,640枚のクラス内画像は、ラベルなしクラス内データとして使用された。
• クラス外のラベルなしデータ（122,208枚）は、追加の800種の鳥から収集され、新規クラスを模倣し、ドメインシフトを導入した。
• 検証およびテストセットは、それぞれ1クラスあたり10枚および40枚の画像から構成され、均一なクラス分布を保証した。
• 参加者はImageNet-1kで事前学習されたモデルの使用は許可されたが、iNaturalistで微調整されたモデルの使用は禁止され、トランスファー学習の影響を明確にした。
• チャレンジでは2段階のテスト分割が用いられ、50%がリーダーボードの更新用（公開）、残りの50%が最終順位決定用（非公開）であった。

実験結果

リサーチクエスチョン

• RQ1 ラベル付きデータとラベルなしデータの間で顕著なクラス不均衡とドメインシフトが生じるベンチマークにおいて、既存の半教師あり学習手法はどの程度の性能を示すか？
• RQ2 ImageNetからのトランスファー学習は、半教師ありの細分類鳥認識におけるパフォーマンスをどの程度向上させるか？
• RQ3 クラス外（新規）のラベルなしデータを統合することでモデルの一般化性能が向上するのか、それともドメインシフトのためパフォーマンスが低下するのか？
• RQ4 細分類カテゴリを伴う現実的なSSL設定において、最も効果的なデータ拡張およびアンサンブル戦略は何か？
• RQ5 最先端のSSL手法（例：MixMatch や FixMatch）が、この設定では限定的な改善しか示さない理由は何か？

主な発見

• 最高の手法が非公開テストセットで90.1%のTop-1正答率を達成し、ImageNetから微調整したベースラインモデル（43.3% Top-1）を大きく上回った。
• クラス内ラベルなしデータに対する疑似ラベル付けが、優勝手法の中で最も効果的な技術であった。これは、クラス不均衡下での自己学習における強力な有効性を示唆している。
• クラス外のラベルなしデータは、ドメインの類似性にもかかわらず、限定的な利益をもたらした。これは、ドメインシフトが新規クラスからの知識移転を妨げることを示している。
• 1チームが、クラス外データに対するクラスタリングベースの事前学習が、ImageNet事前学習のみよりもパフォーマンスを向上させたと報告した。これはドメイン整合性に関する仮定に疑問を呈するものであった。
• 広範なデータ拡張とモデルアンサンブルが、この設定ではMixMatch や FixMatch といった複雑なSSLアルゴリズムを上回り、一貫して有効であった。
• オラクルモデル（69.0% Top-1）と最高手法（90.1% Top-1）との差は、現実世界のSSL応用におけるさらなる改善の余地が大きいことを示している。