[論文レビュー] Automatic Plant Cover Estimation with Convolutional Neural Networks

Matthias Körschens, Paul Bodesheim+5 more|arXiv (Cornell University)|Jan 1, 2021

Species Distribution and Climate Change参考文献 23被引用数 2

ひとこと要約

本論文は、高解像度画像を用いた草本被覆の自動推定のための畳み込みニューラルネットワーク（CNN）ベースの手法を提案する。標準的なCNNアーキテクチャに特徴マップピラミッド（FPNs）を組み合わせ、植物固有のデータセットを用いたドメイン内事前学習を実施することで、平均絶対誤差（MAE）5.16%を達成し、先行研究を上回る性能を発揮した。一方、誤差解析から、被覆と誤分類される死んだ植物くずの識別が主な課題であることが明らかになった。

ABSTRACT

Monitoring the responses of plants to environmental changes is essential for plant biodiversity research. This, however, is currently still being done manually by botanists in the field. This work is very laborious, and the data obtained is, though following a standardized method to estimate plant coverage, usually subjective and has a coarse temporal resolution. To remedy these caveats, we investigate approaches using convolutional neural networks (CNNs) to automatically extract the relevant data from images, focusing on plant community composition and species coverages of 9 herbaceous plant species. To this end, we investigate several standard CNN architectures and different pretraining methods. We find that we outperform our previous approach at higher image resolutions using a custom CNN with a mean absolute error of 5.16%. In addition to these investigations, we also conduct an error analysis based on the temporal aspect of the plant cover images. This analysis gives insight into where problems for automatic approaches lie, like occlusion and likely misclassifications caused by temporal changes.

研究の動機と目的

• 生物多様性モニタリングにおける人的で時間のかかる植物被覆推定プロセスの自動化を目的とする。
• 人間による評価における時間的解像度の低さと主観性の問題を是正することを目的とする。
• 標準的なCNNアーキテクチャと事前学習戦略がピクセル単位の植物被覆推定に与える影響を調査することを目的とする。
• 植物の成長と老化に伴う失敗モードを特定するために、時間的誤差パターンを分析することを目的とする。
• FPNなどのアーキテクチャ的改善と高解像度入力を通じて、精度と解釈可能性を向上させることを目的とする。

提案手法

• 草本植物コミュニティの高解像度画像を用いて、標準的なCNNアーキテクチャ（ResNet50、InceptionV3、DenseNet121）を訓練した。
• 特徴マップピラミッド（FPNs）を用いて特徴表現を強化し、出力解像度を向上させ、局所化精度を向上させた。
• 受容 field とスケール感受性を評価するために、複数の画像解像度で性能を評価した。
• 独自に構築した植物データセット（GBIF由来）を用いたドメイン内事前学習と、ImageNetを用いたドメイン外事前学習を比較した。
• ピクセル単位の分類ヘッドを適用し、各ピクセルのクラス確率を推定し、それを集約して種ごとの被覆割合を推定した。
• 画像撮影日時の週ごとに予測結果をグループ化することで、時間的誤差解析を実施し、失敗パターンを同定した。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNアーキテクチャ（ResNet50、InceptionV3、DenseNet121）は、著者の先行手法と比較して、植物被覆推定においてどの程度の性能を示すか？
• RQ2 特徴マップピラミッド（FPNs）の統合が、予測精度と解釈可能性にどの程度の向上効果をもたらすか？
• RQ3 画像解像度は、植物被覆推定ネットワークの性能にどのように影響するか？
• RQ4 植物固有のデータセットを用いたドメイン内事前学習と、ImageNetを用いたドメイン外事前学習の、モデル性能に与える影響は何か？
• RQ5 主な誤差要因は何か。特に、植物の成長、被覆、老化と関連してどのような要因が影響しているか？

主な発見

• 提案手法は、高解像度画像を用いた場合、平均絶対誤差（MAE）5.16%を達成し、著者の先行手法を上回った。
• ResNet50にFPNを統合した場合、特徴マップの統合による性能向上が最も顕著で、特徴の局所化精度が向上したことが示唆された。
• 高解像度画像の解像度が高いほど、一貫して予測精度が向上した。これは、高解像度画像の取得を優先すべきであることを示唆している。
• ドメイン内事前学習（植物固有データ）は、DenseNet121を除くすべてのネットワークで、ImageNet事前学習を上回る結果をもたらした。これは、ドメインの関連性が高いほど性能が向上することを示している。
• 時間的誤差解析から、週4週目ごろに誤差が急激に増加していることが判明した。これは、植物の急激な成長と被覆の増加に起因し、セグメンテーションに混乱をもたらしている可能性がある。
• 誤差の大部分は、ネットワークが死んだ植物くずと生きた種を識別できないことに起因しており、特に老化期に顕著であった。これは、事前学習データにこのようなクラスが欠落していることが原因である可能性が高い。