[論文レビュー] The Semi-Supervised iNaturalist Challenge at the FGVC8 Workshop

Jong-Chyi Su, Subhransu Maji|arXiv (Cornell University)|Jun 2, 2021

Genomics and Phylogenetic Studies参考文献 4被引用数 12

ひとこと要約

本論文は、動物界、植物界、菌類界の3つの生物界にまたがる細分化された長尾分布画像分類のための大規模で半教師ありのベンチマーク、Semi-iNatを紹介する。33万枚の画像と2439種の種が含まれており、ラベルのないデータに対しては系統的分類の粗いラベル（界/門）のみを用いる。自己教師あり学習手法の評価において、ImageNetで事前学習したモデルは、初期化から学習を開始する基準モデルに比べてトップ1正解率が22%向上した。これは、依然として向上の余地が大きいことを示している。

ABSTRACT

Semi-iNat is a challenging dataset for semi-supervised classification with a long-tailed distribution of classes, fine-grained categories, and domain shifts between labeled and unlabeled data. This dataset is behind the second iteration of the semi-supervised recognition challenge to be held at the FGVC8 workshop at CVPR 2021. Different from the previous one, this dataset (i) includes images of species from different kingdoms in the natural taxonomy, (ii) is at a larger scale -- with 810 in-class and 1629 out-of-class species for a total of 330k images, and (iii) does not provide in/out-of-class labels, but provides coarse taxonomic labels (kingdom and phylum) for the unlabeled images. This document describes baseline results and the details of the dataset which is available here: \url{https://github.com/cvl-umass/semi-inat-2021}.

研究の動機と目的

• 細分化された長尾分布およびドメインシフトが見られる状況における、現実的で大規模な半教師あり学習のベンチマークが不足しているという問題に対処すること。
• Semi-Avesベンチマークを拡張し、動物界、植物界、菌類界の3つの界に属する種を追加することで、スケールと多様性を向上させること。
• ラベルのないデータに対して、細分化されたラベルが得られない状況で、界や門といった粗い系統的分類ラベルのみが利用可能な条件下で、半教師あり学習手法を評価すること。
• FGVC8 2021で、ドメインシフトへの耐性と、従来のベンチマークで観察された転移学習の限界をテストする新たな挑戦を提供すること。
• 容易に入手可能な粗いラベルを活用して分類性能を向上させる、弱教師ありおよび半教師あり手法の研究を可能にすること。

提案手法

• データセットはiNaturalistの画像から構築され、過去のiNaturalistおよびSemi-Avesのチャレンジに含まれる種を除外して作成されている。
• 系統的分類に基づき、種はクラス内（C_in）とクラス外（C_out）の2つに分割され、各門に約1/3の種がC_inに割り当てられる。
• C_inに属する種については、5/10/10枚の画像が検証用、公開テスト用、非公開テスト用に予約され、残りの画像はラベルあり（L_in）とラベルなし（U_in）のセットに分けられ、1クラスあたり最低5枚のラベル付き画像が保証される。
• すべてのC_out画像はラベルなしセットU_outに含められ、U_inとU_outはドメインラベルを提供しない状態で1つのラベルなしセットUに統合される。
• すべてのラベルなし画像に対して、弱教師ありとしての役割を果たすために、界と門の粗い系統的分類ラベルが提供される。
• ベースラインモデルは、SGDとコサイン学習率スケジューリングを用いたResNet-50で訓練され、ラベル付きデータのみ（ベースライン）とU_inからの真のラベル（オラクル）を用いてトップ1およびトップ5正解率で評価される。

実験結果

リサーチクエスチョン

• RQ1 既存の半教師あり学習手法は、複数の生物界にまたがる大規模で長尾分布の激しい細分化画像分類データセットにおいて、どの程度の性能を示すか？
• RQ2 細分化されたラベルがラベルなしデータに存在しない状況で、界や門といった粗い系統的分類ラベルは、半教師あり学習の性能向上にどの程度寄与するか？
• RQ3 この挑戦的な設定において、ImageNetで事前学習した重みから開始するモデルと、初期化から学習を開始するモデルとでは、性能にどの程度の差が生じるか？
• RQ4 ラベル付きデータとラベルなしデータの間にドメインシフトが生じる場合、異なる門や界に属するクラス外の種がラベルなしセットに含まれる場合、その影響は何か？
• RQ5 モデルの誤分類パターンは、門ごとにどのように変化するか？ これは、長尾分布およびドメインシフトの条件下における細分化分類の難易度をどのように示唆するか？

主な発見

• ImageNetで事前学習したモデルは、初期化から学習を開始するモデルに比べて、トップ1正解率が22ポイント向上した。これは、この設定において事前学習の価値を示している。
• ベースラインモデルは、ラベル付きデータのみで学習した場合にトップ1正解率が41.0%にとどまり、より優れた半教師あり学習手法の導入による改善の余地が大きいことを示している。
• オラクルモデル（L_in ∪ U_inのすべてのラベルを利用）はトップ1正解率94.3%を達成しており、現在の手法と理論上の上限との間には大きな性能ギャップがあることが明らかになった。
• 誤分類行列から、種の数が少ない門ではモデルの正解率が低く、同じ界に属する種同士の誤分類が頻発していることがわかった。これは、界内での誤分類が主な課題であることを示している。
• ラベル付きおよびラベルなしの学習セットの両方で、クラス数が1クラスあたり5〜400枚の画像にまでばらつきを示す長尾分布を示しており、頑健な表現学習の難易度を高めている。
• 動物界、植物界、菌類界の3つの界と8つの門に属する種を含めることで、データセットの多様性と現実性が向上し、従来の半教師ありベンチマークよりもさらに挑戦的なベンチマークとなった。