[論文レビュー] The Herbarium Challenge 2019 Dataset

Kiat Chuan Tan, Yulong Liu+3 more|arXiv (Cornell University)|Jun 12, 2019

Smart Agriculture and AI参考文献 21被引用数 26

ひとこと要約

本論文は、683種のメラストマセア科植物にわたる46,469枚の高解像度の標本画像を含む大規模かつ専門家がアノテートしたHerbarium Challenge 2019データセットを紹介する。このデータセットは、自動植物種同定の促進を目的としており、クラス不均衡、微細な形態的変異、および小規模なクラス間差異といった課題に対処するため、ショートカット学習を防ぐために画像のぼかし処理と、利用可能性を高めるための画像リサイズを実施している。これにより、FGVC6コンペティションでSOTAのテスト精度89.8％を達成した。

ABSTRACT

Herbarium sheets are invaluable for botanical research, and considerable time and effort is spent by experts to label and identify specimens on them. In view of recent advances in computer vision and deep learning, developing an automated approach to help experts identify specimens could significantly accelerate research in this area. Whereas most existing botanical datasets comprise photos of specimens in the wild, herbarium sheets exhibit dried specimens, which poses new challenges. We present a challenge dataset of herbarium sheet images labeled by experts, with the intent of facilitating the development of automated identification techniques for this challenging scenario.

研究の動機と目的

• 標本の自動同定を可能にすることで、植物多様性の記録に不可欠な標本の迅速な種の同定を促進する。
• 乾燥・保存された標本画像は、野生の植物画像とはテクスチャ、色、形態的特徴が著しく異なるため、そのような標本からの植物種同定の課題に対処する。
• 実際の標本の分布を反映したベンチマークデータセットを構築し、顕著なクラス不均衡と種内・種間の顕著な変異を反映する。
• モデルのショートカット学習を防ぐために、画像上のテキストやバーコードをぼかし、分類に必要な主要な形態的特徴は保持する。
• 未観測の種に一般化できる深層学習モデルの開発を支援し、絶滅危惧状況が続く中での種の記述速度の向上を図る。

提案手法

• 780万枚のNYBG標本データベースから、683種のメラストマセア科植物の46,469枚の画像を抽出し、専門家による種の同定を確認した。
• PhotoOCRによる検出後に、Heavy Gaussian Blendアルゴリズムを用いてテキストとバーコードをぼかし処理することで、モデルがメタデータに依存するのを防いだ。
• 画像のアスペクト比を維持しながら最大1024ピクセルにリサイズすることで、ダウンサンプリング版のデータセットを作成し、合計サイズを52GBから2.3GBに削減した。
• 種レベルで75％をトレーニング、5％をバリデーション、20％をテストに分割し、各分割にわたるバランスの取れた分布を確保した。
• コンペティションはCVPR19のFGVC6としてKaggleで開催され、SeResNeXtやResNetを用いたモデルに加え、データオーグメンテーションとファーカス損失などの損失関数が使用された。
• 上位のモデルではアンサンブル手法、可変的畳み込み、ランダムエラーイングやiSQRTなどの技術が用いられ、汎化性能と精度の向上が図られた。

実験結果

リサーチクエスチョン

• RQ1 クラス不均衡と微細な形態的変異が著しい状況下でも、深層学習モデルが標本画像の分類で高い精度を達成できるか。
• RQ2 モデルがバーコードや標本画像上のテキストといった生物学的でない手がかりにどれほど依存しているか、その影響をどのように軽減できるか。
• RQ3 ImageNet や iNaturalist で事前学習された最先端モデルが、種ごとの学習サンプル数が限られている専用の標本データセットで微調整された場合、どの程度の性能を示すか。
• RQ4 このデータセットで学習したモデルは、未観測の種に一般化できるか。また、ゼロショットまたはフェイワショット一般化を向上させるための技術は何か。
• RQ5 具体的には、メタデータのぼかし処理といった画像前処理が、種同定におけるモデルの性能と耐性にどのような影響を与えるか。

主な発見

• Herbarium Challenge 2019は、プライベートテストセットで最高89.8％のテスト精度を達成し、標本画像からの高精度な自動種同定の可能性を示した。
• 優勝手法は、SeResNeXt-50、SeResNeXt-101、ResNet-152を含む5つのモデルのアンサンブルであり、ImageNetおよびiNaturalistでの事前学習を用いて訓練された。
• クラスバランスを考慮したファーカス損失と標準的なデータオーグメンテーションの使用が、極めて不均衡なデータセットにおいて性能を著しく向上させた。
• テキストとバーコードのぼかし処理という前処理ステップは、モデルがメタデータに依存するのを効果的に低減し、生物学的特徴に基づいた学習を促進した。
• リサイズ済みデータセット（2.3GB）は、効率的なトレーニングと推論を可能にし、広範な研究者や機関がフルデータセットにアクセスできるようにした。
• Herbariumデータセットのうち、iNaturalist 2018チャレンジと重複する種はたった2種にとどまり、本データセットが種同定研究において特徴的かつ補完的であることを示している。