[논문 리뷰] Active learning for efficient annotation in precision agriculture: a use-case on crop-weed semantic segmentation

Bart M. van Marrewijk, Charbel Dandjinou외 6명|arXiv (Cornell University)|2024. 04. 03.

Smart Agriculture and AIAgricultural and Biological Sciences인용 수 3

한 줄 요약

이 연구는 정밀 농업에서 작물-잡초 세분화를 위한 베이지안 활성 학습에 기반한 활성 학습(BALD)과 그 확률적 변형인 PowerBALD를 평가하며, 몬테카를로 드롭아웃을 사용해 모델의 불확실성을 추정한다. PowerBALD는 랜덤 샘플링 대비 높은 모델 정확도와 낮은 분산을 보였지만, 농업 데이터셋의 높은 클래스 불균형과 이미지 중복성으로 인해 통계적으로 유의미한 차이가 없었다.

ABSTRACT

Optimizing deep learning models requires large amounts of annotated images, a process that is both time-intensive and costly. Especially for semantic segmentation models in which every pixel must be annotated. A potential strategy to mitigate annotation effort is active learning. Active learning facilitates the identification and selection of the most informative images from a large unlabelled pool. The underlying premise is that these selected images can improve the model's performance faster than random selection to reduce annotation effort. While active learning has demonstrated promising results on benchmark datasets like Cityscapes, its performance in the agricultural domain remains largely unexplored. This study addresses this research gap by conducting a comparative study of three active learning-based acquisition functions: Bayesian Active Learning by Disagreement (BALD), stochastic-based BALD (PowerBALD), and Random. The acquisition functions were tested on two agricultural datasets: Sugarbeet and Corn-Weed, both containing three semantic classes: background, crop and weed. Our results indicated that active learning, especially PowerBALD, yields a higher performance than Random sampling on both datasets. But due to the relatively large standard deviations, the differences observed were minimal; this was partly caused by high image redundancy and imbalanced classes. Specifically, more than 89\% of the pixels belonged to the background class on both datasets. The absence of significant results on both datasets indicates that further research is required for applying active learning on agricultural datasets, especially if they contain a high-class imbalance and redundant images. Recommendations and insights are provided in this paper to potentially resolve such issues.

연구 동기 및 목표

• 정밀 농업에서 세분화 작업의 정규화 노력 감소를 위한 불확실성 기반 활성 학습의 효과를 평가하는 것.
• BALD 및 PowerBALD와 같은 기존의 할당 함수가 고도로 불균형하고 중복성이 높은 농업 데이터셋에 잘 일반화되는지 조사하는 것.
• 실제 작물-잡초 데이터셋을 대상으로 활성 학습 전략(BALD, PowerBALD, 랜덤)을 비교하여 성능 향상과 한계를 규명하는 것.
• 데이터 불균형과 중복 문제를 해결함으로써 농업 컴퓨터 비전에서 활성 학습을 향상시키기 위한 실질적인 통찰을 제공하는 것.

제안 방법

• 세분화 모델의 지식적 불확실성을 추정하기 위해 몬테카를로 드롭아웃을 활용하여 불확실성 기반의 이미지 선택을 가능하게 하였다.
• 세 가지 할당 함수를 적용: 베이지안 활성 학습에 기반한 불확실성(BALD), 확률적 변형인 PowerBALD, 비교를 위한 랜덤 샘플링.
• 사전 레이블링된 데이터로 모델을 훈련하고, 다중 전방전파를 통해 유도된 불확실성 점수를 기반으로 가장 불확실한 이미지를 반복적으로 선택하였다.
• 배경, 작물, 잡초의 세 클래스를 포함한 두 가지 농업 데이터셋—설탕비트 및 옥수수-잡초—에서 성능을 평가하였다.
• 모델 성능을 비교하기 위해 주로 픽셀 수준의 세분화 정확도를 사용하였다.
• 결과의 안정성과 변동성을 평가하기 위해 다수의 반복 실험을 수행하였으며, 특히 높은 중복성과 클래스 불균형 조건에서의 성능을 분석하였다.

Figure 1 : FCHarDNet network architecture [ 13 ] with dropout (DO). The numbers in the figure indicate the number of strides for a given block.

실험 결과

연구 질문

• RQ1 BALD 및 PowerBALD와 같은 불확실성 기반 활성 학습 방법이 농업 세분화 작업에서 더 적은 레이블링 이미지로 모델 성능 향상을 이룰 수 있는가?
• RQ2 실제 작물-잡초 데이터셋에서 BALD와 PowerBALD는 랜덤 샘플링 대비 세분화 정확도와 훈련 안정성 측면에서 어떻게 비교되는가?
• RQ3 농업 데이터셋의 클래스 불균형과 이미지 중복성은 활성 학습의 효과성에 얼마나 큰 제약을 가하는가?
• RQ4 설탕비트와 옥수수-잡초와 같은 서로 다른 농업 작물-잡초 시나리오 간에 활성 학습 성능가 변화가 있는가?
• RQ5 농업 데이터셋에 활성 학습을 적용할 때 발생하는 주요 과제는 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• PowerBALD는 설탕비트 및 옥수수-잡초 데이터셋 양쪽에서 랜덤 샘플링보다 높은 평균 세분화 정확도를 달성하여 학습 효율성이 향상됨을 보여주었다.
• PowerBALD는 반복 실험에서 랜덤 샘플링보다 낮은 분산을 보이며 더 높은 샘플링 안정성을 확보하였다.
• 더 나은 추세를 보였음에도 불구하고, 표준편차가 높아 통계적으로 유의미한 성능 차이가 관찰되지 않았다(p ≤ 0.05).
• 두 데이터셋의 89% 이상의 픽셀이 배경 클래스에 속해 있어 심각한 클래스 불균형이 발생했으며, 이는 성능 향상의 효과를 가림으로써 성능 향상을 가로막을 수 있었다.
• 데이터셋 간의 이미지 중복성이 높아 선택된 샘플의 정보성은 감소하였으며, 이는 불확실성 기반 선택의 이점을 약화시켰다.
• Cityscapes에서의 실험 결과, BALD 및 PowerBALD가 모두 랜덤 샘플링을 능가하는 성능을 보였으며, 이는 덜 중복적이며 균형 잡힌 데이터셋에 적용되었을 때 이들의 잠재력이 확인됨을 시사한다.

(a)