[논문 리뷰] Vision Transformers For Weeds and Crops Classification Of High Resolution UAV Images

Reenul Reedha, Eric Dericquebourg외 2명|arXiv (Cornell University)|2021. 09. 06.

Smart Agriculture and AI참고 문헌 43인용 수 8

한 줄 요약

이 논문은 고해상도 드론 항공사진(드론)을 이용한 잡초 및 작물 분류에 비디오 트랜스포머(ViT)를 사용하는 것을 제안한다. 컨볼루션 연산을 사용하지 않고도, 제한된 레이블 데이터로 훈련된 ViT는 레드 beets, 오프타입 레드 베파이, parsely, 시금치를 분류하는 데 있어 99.8%의 상위-1 정확도를 달성하며, ResNet 및 EfficientNet과 같은 최신 기술의 CNN보다 뛰어난 성능을 보이며, 특히 소규모 데이터셋에서 뛰어난 일반화 능력과 효율성을 입증한다. 이는 농업 이미지 분류 분야에서 ViT의 뛰어난 잠재력을 보여준다.

ABSTRACT

Crop and weed monitoring is an important challenge for agriculture and food production nowadays. Thanks to recent advances in data acquisition and computation technologies, agriculture is evolving to a more smart and precision farming to meet with the high yield and high quality crop production. Classification and recognition in Unmanned Aerial Vehicles (UAV) images are important phases for crop monitoring. Advances in deep learning models relying on Convolutional Neural Network (CNN) have achieved high performances in image classification in the agricultural domain. Despite the success of this architecture, CNN still faces many challenges such as high computation cost, the need of large labelled datasets, ... Natural language processing's transformer architecture can be an alternative approach to deal with CNN's limitations. Making use of the self-attention paradigm, Vision Transformer (ViT) models can achieve competitive or better results without applying any convolution operations. In this paper, we adopt the self-attention mechanism via the ViT models for plant classification of weeds and crops: red beet, off-type beet (green leaves), parsley and spinach. Our experiments show that with small set of labelled training data, ViT models perform better compared to state-of-the-art CNN-based models EfficientNet and ResNet, with a top accuracy of 99.8\% achieved by the ViT model.

연구 동기 및 목표

• 정밀 농업을 위한 고해상도 드론 항공사진에서의 정확한 잡초 및 작물 분류 문제를 해결한다.
• 고비용의 계산과 대규모 레이블 데이터에 의존하는 CNN 기반 모델의 한계를 극복한다.
• 자기주의 주의(self-attention) 기반의 트랜스포머 모델인 ViT의 성능을 소규모 실생활 농업 이미지 데이터셋에서 평가한다.
• 작물 분류 작업에서 데이터가 적은 환경에서도 ViT의 실현 가능성과 우수성을 입증한다.
• 미래의 자동 잡초 제어 시스템을 위한 객체 탐지 파이프라인에 ViT를 통합할 기초를 제공한다.

제안 방법

• 고해상도 드론 RGB 이미지를 겹치지 않는 패치(16×16 픽셀)로 분할하여 비디오 트랜스포머의 입력으로 사용한다.
• 각 패치에 클래스 임베딩과 위치 임베딩을 적용하여 시퀀스 입력에서 공간 정보와 클래스 정보를 유지한다.
• 멀티헤드 자기주의 주의(multi-head self-attention)와 피드포워드 네트워크를 포함한 표준 트랜스포머 인코더를 통해 패치 시퀀스를 처리한다.
• 클래스 예측을 위해 [CLS] 토큰 출력에 분류 헤드를 적용하여 식물 종류(레드 베파이, 오프타입 레드 베파이, 파슬리, 시금치)를 예측한다.
• 정확도를 높이기 위해 교차 검증(5겹)을 사용하여 엔드 투 엔드로 ViT 모델을 훈련한다.
• 동일한 훈련 및 평가 프로토콜 하에서 ViT-B/16를 최신 기술의 CNNs(ResNet50, EfficientNet-B0, EfficientNet-B1)와 비교한다.

실험 결과

연구 질문

• RQ1 비디오 트랜스포머(ViT)는 고해상도 드론 항공사진의 작물 및 잡초 이미지 분류에서 CNN 기반 모델보다 뛰어난 정확도를 달성할 수 있는가?
• RQ2 ViT의 성능은 레이블 데이터가 감소함에 따라 CNN과 비교해 어떻게 변화하는가?
• RQ3 ViT의 자기주의 주의 메커니즘은 局부적 컨볼루션 연산보다 농업 이미지 분류에서 더 나은 특징 학습과 일반화 능력을 제공하는가?
• RQ4 ViT는 제한된 훈련 데이터로도 높은 정확도를 유지할 수 있는가? 이는 데이터가 부족한 농업 응용 분야에 적합한가?
• RQ5 훈련 데이터가 감소할 때 ViT-B/16의 상대적 내구성은 ResNet 및 EfficientNet 변종보다 뛰어나게 나타나는가?

주요 결과

• ViT-B/16 모델은 12,844장의 레이블 데이터로 훈련된 결과, 테스트 세트에서 상위-1 정확도 99.8%를 기록했으며, ResNet50(99.50%), EfficientNet-B0(98.78%), EfficientNet-B1(98.98%)를 모두 초월했다.
• 훈련 데이터를 3,211장으로 줄였을 때도 ViT-B/16는 F1-Score 99.63%를 유지했으며, ResNet50(97.54%), EfficientNet-B0(96.53%), EfficientNet-B1(95.91%)보다 유의미하게 높은 성능을 보였다.
• 훈련 데이터를 12,844장에서 4,535장으로 줄였을 때 ViT-B/16의 성능 저하가 최소한이었으며(99.80% → 99.14%), 반면 CNN들은 더 급격한 감소를 보였다.
• EfficientNet-B1는 훈련 데이터를 12,844장에서 3,211장으로 줄였을 때 성능 저하가 가장 컸으며(3.07%), 이는 낮은 데이터 효율성을 시사한다.
• ViT-B/16는 모든 데이터 규모에서 가장 안정적인 성능을 보였으며, 데이터가 적은 환경에서도 뛰어난 데이터 효율성과 내구성을 입증했다.
• 결과적으로 ViT-B/16가 농업 이미지 분류에서 CNN보다 더 뛰어난 일반화 능력을 보이며, 특히 레이블 데이터가 부족한 경우에 유리함을 확인했다.