[論文レビュー] WHOI-Plankton- A Large Scale Fine Grained Visual Recognition Benchmark Dataset for Plankton Classification

Eric C. Orenstein, Oscar Beijbom+2 more|arXiv (Cornell University)|Oct 2, 2015

Water Quality Monitoring Technologies参考文献 5被引用数 57

ひとこと要約

本稿では、8年間の連続的なIFCBデータから得られた70クラスにわたる340万枚の専門家ラベル付きプランクトン画像を含む大規模で細分化された視覚認識データセット、WHOI-Planktonを紹介する。微調整されたVGGベースのCNN（CNN$_{\textrm{FT}}$）を用いた研究では、特徴量を手作業で設計した手法や、スクラッチから訓練したCNNよりも優れた、最先端の未加重F1スコア0.42を達成した。

ABSTRACT

Planktonic organisms are of fundamental importance to marine ecosystems: they form the basis of the food web, provide the link between the atmosphere and the deep ocean, and influence global-scale biogeochemical cycles. Scientists are increasingly using imaging-based technologies to study these creatures in their natural habit. Images from such systems provide an unique opportunity to model and understand plankton ecosystems, but the collected datasets can be enormous. The Imaging FlowCytobot (IFCB) at Woods Hole Oceanographic Institution, for example, is an \emph{in situ} system that has been continuously imaging plankton since 2006. To date, it has generated more than 700 million samples. Manual classification of such a vast image collection is impractical due to the size of the data set. In addition, the annotation task is challenging due to the large space of relevant classes, intra-class variability, and inter-class similarity. Methods for automated classification exist, but the accuracy is often below that of human experts. Here we introduce WHOI-Plankton: a large scale, fine-grained visual recognition dataset for plankton classification, which comprises over 3.4 million expert-labeled images across 70 classes. The labeled image set is complied from over 8 years of near continuous data collection with the IFCB at the Martha's Vineyard Coastal Observatory (MVCO). We discuss relevant metrics for evaluation of classification performance and provide results for a traditional method based on hand-engineered features and two methods based on convolutional neural networks.

研究の動機と目的

• 大規模な画像データセットにおける、非常に変動が大きく形態が類似したプランクトン種の分類という課題に対処すること。
• 細分化された視覚認識の分野における海洋生物学のための、大規模で専門家がアノテートしたベンチマークデータセットを提供すること。
• 実世界のプランクトン画像分類において、従来の機械学習手法と深層学習手法の性能を評価すること。
• 将来の研究を可能にするために、堅牢で一般化可能な分類器を用いた自動プランクトンモニタリングおよび生態モデル化を促進すること。

提案手法

• データセットは、マーサズ・ヴィニヤード Coastal Observatory で8年間にわたり、Imaging FlowCytobot（IFCB）によって収集された7億枚を超えるROIsから構成される。
• 専門家のアノテーションは、毎週2回、ランダムに選択された1時間分のデータセグメントに対して適用され、自然なプランクトンクラスの分布を代表するサンプリングが保証される。
• 3つの分類手法が評価された：手作業で設計された形態的およびテクスチャ的特徴量を用いたランダムフォレスト（RF）、プランクトンデータからスクラッチで訓練したCNN（CNN$_{\textrm{P}}$）、およびImageNetで事前学習済みのVGG-16をImageNetで微調整したCNN（CNN$_{\textrm{FT}}$）。
• すべてのモデルは、2014年以前のデータの80％を訓練データとして使用し、2014年の各日を独立したテストセットとして用いて、実世界の時間的展開を模擬した。
• 性能評価には、1日ごとの全クラスにおける未加重平均F1スコアが用いられ、クラスの不均衡と時間的変動を考慮するために標準誤差も報告された。
• 画像はアスペクト比を保持するようにリサイズされ、中央揃えされ、訓練用ROIsのランダムサブセットからの平均ピixe値でパディングされた。

実験結果

リサーチクエスチョン

• RQ1 従来の手作業で特徴量を設計した手法と深層学習アプローチとを比較すると、細分化されたプランクトン画像分類においてどちらが優れているか？
• RQ2 ImageNetからのトランスファー学習は、希少で形態が類似したプランクトン分類群の分類精度を向上させることができるか？
• RQ3 プランクトンの豊度と組成の短期的変動に対して、分類モデルの安定性はどの程度保たれるか？
• RQ4 クラスの不均衡がモデルの性能に与える影響はどの程度で、未加重F1スコアはどのようにこのバイアスを軽減できるか？
• RQ5 合成データ増強は、低頻度のプランクトンクラスの認識を向上させることができるか？

主な発見

• 微調整されたCNN（CNN$_{\textrm{FT}}$）は、2014年中の全日において最高の未加重平均F1スコア0.42を達成し、RFおよびCNN$_{\textrm{P}}$を上回った。
• RF分類器は平均未加重F1スコア0.27を達成し、CNN$_{\textrm{P}}$は0.36を達成した。これは、トランスファー学習が性能を顕著に向上させることを示している。
• 「mix」クラスの支配的であるにもかかわらず全体の正解率が93.8％に達する一方で、未加重F1スコアは希少で識別が難しいクラスの性能をより的確に捉えている。
• CNN$_{\textrm{FT}}$モデルは、1日を除き、全期間を通じて他のモデルを常に上回った。1日だけRFがわずかに上回ったが、これは希少クラスの検出性能が優れていたためである。
• 「mix」クラス（200万枚のROIs）はデータセット全体の約60％を占めており、プランクトン画像認識におけるクラスの不均衡の課題を浮き彫りにしている。
• 本研究では、時間的およびクラスの変動が著しい生態分類タスクの評価において、マクロ平均正解率よりも未加重F1スコアがより適切な指標であることが示された。