[論文レビュー] Active learning for efficient annotation in precision agriculture: a use-case on crop-weed semantic segmentation

Bart M. van Marrewijk, Charbel Dandjinou+6 more|arXiv (Cornell University)|Apr 3, 2024

Smart Agriculture and AIAgricultural and Biological Sciences被引用数 3

ひとこと要約

本研究では、モンテカルロドロップアウトを用いてモデルの不確実性を推定する手法として、ベイジアンアクティブラーニングによる不一致（BALD）およびその確率的変種であるパワーベイジアンアクティブラーニング（PowerBALD）を、精密農業における作物・雑草のセマンティックセグメンテーションに適用したアクティブラーニングの有効性を評価した。PowerBALDは、ランダムサンプリングに比べてモデルの精度が高く、分散が小さい結果を示したが、農業データセットに顕著なクラス不均衡と画像の重複があるため、有意差は認められなかった。

ABSTRACT

Optimizing deep learning models requires large amounts of annotated images, a process that is both time-intensive and costly. Especially for semantic segmentation models in which every pixel must be annotated. A potential strategy to mitigate annotation effort is active learning. Active learning facilitates the identification and selection of the most informative images from a large unlabelled pool. The underlying premise is that these selected images can improve the model's performance faster than random selection to reduce annotation effort. While active learning has demonstrated promising results on benchmark datasets like Cityscapes, its performance in the agricultural domain remains largely unexplored. This study addresses this research gap by conducting a comparative study of three active learning-based acquisition functions: Bayesian Active Learning by Disagreement (BALD), stochastic-based BALD (PowerBALD), and Random. The acquisition functions were tested on two agricultural datasets: Sugarbeet and Corn-Weed, both containing three semantic classes: background, crop and weed. Our results indicated that active learning, especially PowerBALD, yields a higher performance than Random sampling on both datasets. But due to the relatively large standard deviations, the differences observed were minimal; this was partly caused by high image redundancy and imbalanced classes. Specifically, more than 89\% of the pixels belonged to the background class on both datasets. The absence of significant results on both datasets indicates that further research is required for applying active learning on agricultural datasets, especially if they contain a high-class imbalance and redundant images. Recommendations and insights are provided in this paper to potentially resolve such issues.

研究の動機と目的

• 精密農業におけるセマンティックセグメンテーションのためのアノテーション作業を削減する、不確実性に基づくアクティブラーニングの有効性を評価すること。
• BALD や PowerBALD といった既存のアセスメント関数が、クラス不均衡と画像の重複が顕著な農業データセットに、どれほど一般化できるかを調査すること。
• 実世界の作物・雑草データセットを用いて、アクティブラーニング戦略（BALD、PowerBALD、ランダム）を比較し、性能の向上と限界を特定すること。
• データの不均衡と重複の問題に対処することで、農業分野のコンピュータビジョンにおけるアクティブラーニングの改善に向けた実用的知見を提供すること。

提案手法

• エピステミック不確実性を推定するために、モンテカルロドロップアウトを採用し、不確実性に基づいた画像選択を可能にした。
• 3つのアセスメント関数を適用：ベイジアンアクティブラーニングによる不一致（BALD）、確率的変種のPowerBALD、および比較用のランダムサンプリング。
• 事前にラベルが付与されたデータでモデルを学習し、複数回の順方向伝搬から得られる不確実性スコアを用いて、最も不確実性の高い画像を繰り返し選択した。
• 2つの農業データセット（シュガービートおよびコーン・ウィード）を用い、それぞれ背景、作物、雑草の3クラスを対象とした。
• モデル性能の比較に、ピクセル単位のセグメンテーション精度を主指標として用いた。
• 結果の安定性とばらつきを評価するために、複数回の繰り返し実験を実施し、特に高い重複とクラス不均衡に起因する影響を検証した。

Figure 1 : FCHarDNet network architecture [ 13 ] with dropout (DO). The numbers in the figure indicate the number of strides for a given block.

実験結果

リサーチクエスチョン

• RQ1 BALD や PowerBALD といった不確実性に基づくアクティブラーニング手法は、農業分野のセマンティックセグメンテーションにおいて、少ないアノテーション画像でモデル性能を向上させることができるか？
• RQ2 実世界の作物・雑草データセットにおいて、BALD や PowerBALD はランダムサンプリングに比べて、セグメンテーション精度と学習の安定性に優れているか？
• RQ3 農業データセットに見られるクラス不均衡と画像の重複は、アクティブラーニングの有効性をどの程度制限しているか？
• RQ4 シュガービートとコーン・ウィードといった異なる農業的状況において、アクティブラーニングの性能に差が生じるか？
• RQ5 農業データセットへのアクティブラーニングの適用における主な課題は何か。また、それらはどのように軽減できるか？

主な発見

• PowerBALD は、シュガービートおよびコーン・ウィードの両データセットにおいて、ランダムサンプリングよりも高い平均セグメンテーション精度を達成しており、学習効率の向上が示された。
• PowerBALD は、ランダムサンプリングに比べて繰り返し実験における分散が低く、サンプリングの安定性が高かった。
• より良いトレンドを示したにもかかわらず、有意差は認められなかった（p ≤ 0.05）。主な要因は、標準偏差が著しく高かったことにある。
• 両データセットの89％以上のピクセルが背景クラスに属しており、深刻なクラス不均衡が性能向上の効果を隠蔽している可能性がある。
• データセット全体にわたる画像の重複が、選択されたサンプルの情報量を低下させ、不確実性に基づく選択の利点を損なった。
• シティスケイプデータセットを用いた実験では、BALD や PowerBALD がランダムサンプリングを上回る性能を示した。これは、重複が少なくバランスの取れたデータセットでは、これらの手法が有効である可能性を裏付けた。

(a)