[論文レビュー] Deep Learning Pipeline for Automated Visual Moth Monitoring: Insect Localization and Species Classification

Dimitri Korsch, Paul Bodesheim+1 more|arXiv (Cornell University)|Jan 1, 2021

Species Distribution and Climate Change被引用数 10

ひとこと要約

本論文は、モースター・スキャナを用いた200種の中央ヨーロッパ産ハマグリムシの自動視覚的モニタリングのためのディープラーニングパイプラインを提示する。ハマグリムシの局所化にシングルショットマルチボックス検出器（SSD）を、種分類に微調整されたCNNと非教師付き部位推定を組み合わせた手法を採用し、クロップされていないスキャナ画像上での全体的な分類精度を79.62％から88.05％へ向上させた。

ABSTRACT

Biodiversity monitoring is crucial for tracking and counteracting adverse trends in population fluctuations. However, automatic recognition systems are rarely applied so far, and experts evaluate the generated data masses manually. Especially the support of deep learning methods for visual monitoring is not yet established in biodiversity research, compared to other areas like advertising or entertainment. In this paper, we present a deep learning pipeline for analyzing images captured by a moth scanner, an automated visual monitoring system of moth species developed within the AMMOD project. We first localize individuals with a moth detector and afterward determine the species of detected insects with a classifier. Our detector achieves up to 99.01% mean average precision and our classifier distinguishes 200 moth species with an accuracy of 93.13% on image cutouts depicting single insects. Combining both in our pipeline improves the accuracy for species identification in images of the moth scanner from 79.62% to 88.05%.

研究の動機と目的

• 生物多様性研究における人的に負担が大きい手作業による昆虫モニタリングの課題に対処すること。
• 専門家による労力に依存しない低減を目的とした、ディープラーニングを用いた視覚的ハマグリムシモニタリングの自動パイプラインの開発。
• 複数のハマグリムシや小型の物体スケールが一般的な現実世界の画像において、種分類の精度を向上させること。
• 異なるトレーニング戦略、事前学習データセット、部位ベースのモデリングが分類性能に与える影響を評価すること。
• 生態的モニタリングシステムにおける実世界での導入を想定し、検出と分類を組み合わせた二段階パイプラインの有効性を示すこと。

提案手法

• AMMODモースター・スキャナで撮影されたハマグリムシ画像のカスタムデータセットを用いてトレーニングした、シングルショットマルチボックス検出器（SSD）を用いて物体の局所化を実施。
• 検出性能の評価に、IOU閾値が0.5および0.75の平均平均精度（mAP）を用いる。
• 単一のハマグリムシのクロップ画像を用いて、ImageNetおよびiNaturalistの事前学習モデルを用いたトランスファーラーニングを活用した畳み込みニューラルネットワーク（CNN）を用いて種分類を実施。
• 特徴抽出器を凍結するか、またはネットワーク全体を微調整する戦略を採用する。
• 分類器に非教師付き部位推定器を統合し、特徴表現の向上と一般化性能の向上を図る。
• トレーニング済みの検出器と分類器を統合し、パイプラインとして構築。まず検出器を用いてハマグリムシを局所化し、その後に各検出された昆虫をクロップされていないスキャナ画像上で分類する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングベースの物体検出器は、現実的でごちゃついたスキャナ画像において、ハマグリムシの局所化で高いmAPを達成できるか？
• RQ2 事前学習データセットの選択（ImageNet対iNaturalist）が、単一ハマグリムシ画像の種分類精度にどのように影響するか？
• RQ3 CNN全体を微調整するのではなく、最終層の全結合層のみを微調整する場合に比べて、分類性能はどの程度向上するか？
• RQ4 非教師付き部位推定を組み込むことで、特に困難なまたはレアな種において分類精度が向上するか？
• RQ5 直接的に全体の画像に対して分類を実施するのと比較して、事前に検出ステップを実施することで、クロップされていない複数のハマグリムシ画像における分類精度はどの程度向上するか？

主な発見

• SSDベースのハマグリムシ検出器は、テストセットにおいて平均平均精度（mAP@0.5）が99.01％、mAP@0.75が88.88％を達成した。
• CNN分類器は、iNaturalistで事前学習し、ネットワーク全体を微調整した場合、非教師付き部位推定を組み合わせることで93.13％の精度を達成した。
• 最終層の全結合層のみを微調整するのではなく、CNN全体を微調整することで、特徴抽出器のみを用いた場合に比べて分類精度が26％向上した。
• ImageNetではなくiNaturalistで事前学習することで、ネットワーク全体を微調整した場合、分類精度が約4％向上した。
• iNaturalistで事前学習した場合に非教師付き部位推定を統合することで、分類精度が2.6ポイント向上した。
• 完全なパイプラインにより、クロップされていないスキャナ画像上の分類精度が、分類器のみの場合の79.62％から検出器＋分類器の88.05％へ向上した。これは、複雑なシーンにおける局所化の価値を示している。