[논문 리뷰] Classification of Bark Beetle-Induced Forest Tree Mortality using Deep Learning

Rudraksh Kapil, Seyed Mojtaba Marvasti-Zadeh외 3명|arXiv (Cornell University)|2022. 07. 15.

Forest Insect Ecology and Management인용 수 6

한 줄 요약

이 논문은 UAV 영상에서 나무 벌레 기생으로 인한 나무 사망 단계를 분류하기 위해 사전 훈련된 백본을 갖춘 RetinaNet 기반의 딥러닝 방법을 제안한다. 클래스 불균형을 해결하기 위해 애핀 변형 데이터 증강 기법을 적용한 결과, 평균 정확도가 98.95%에 도달하여 기준 모델 및 전통적인 기계학습 모델을 크게 능가하였다.

ABSTRACT

Bark beetle outbreaks can dramatically impact forest ecosystems and services around the world. For the development of effective forest policies and management plans, the early detection of infested trees is essential. Despite the visual symptoms of bark beetle infestation, this task remains challenging, considering overlapping tree crowns and non-homogeneity in crown foliage discolouration. In this work, a deep learning based method is proposed to effectively classify different stages of bark beetle attacks at the individual tree level. The proposed method uses RetinaNet architecture (exploiting a robust feature extraction backbone pre-trained for tree crown detection) to train a shallow subnetwork for classifying the different attack stages of images captured by unmanned aerial vehicles (UAVs). Moreover, various data augmentation strategies are examined to address the class imbalance problem, and consequently, the affine transformation is selected to be the most effective one for this purpose. Experimental evaluations demonstrate the effectiveness of the proposed method by achieving an average accuracy of 98.95%, considerably outperforming the baseline method by approximately 10%.

연구 동기 및 목표

• UAV에서 촬영한 항공 영상 자료를 이용해 나비벌레 기생으로 인한 개별 나무 사망 단계를 자동으로 분류하는 딥러닝 기반의 방법을 개발하는 것.
• 나무 우산의 겹침, 비균일한 잎의 변색 등 문제를 해결하기 위해, 나비벌레 기생으로 인한 나무에서 발생하는 클래스 불균형, 겹침, 비균일한 잎의 변색 문제를 다루는 것.
• 수동적 특징 엔지니어링에 의존하고 원시 RGB 데이터에서 성능이 열악한 전통적인 기계학습 모델의 한계를 개선하는 것.
• 다양한 데이터 증강 전략이 소수 클래스에 대한 모델 일반화 능력과 성능 향상에 미치는 영향을 평가하는 것.
• 산림 관리 및 유행병 확산 방지를 위한 조기 감지가 가능하도록 하는 것.

제안 방법

• 딥포레스트 모델을 사용해 나무 우산 탐지에 사전 훈련된 백본을 갖춘 수정된 RetinaNet 아키텍처를 사용한다.
• 4개의 구분 가능한 공격 단계(초록(건강한 상태), 노랑, 빨강, 낙엽(사망))를 분류하기 위해 얕은 서브넷을 엔드 투 엔드로 훈련한다.
• 다양한 비행에서 다양한 고도와 시간대에 걸쳐 촬영한 UAV 촬영 RGB 영상 데이터셋에 대해 모델을 미세조정한다.
• 매우 불균형한 데이터셋을 균형 잡기 위해 애핀 변형, 자르기, 뒤집기, 흐림, 기울임, 색상 왜곡 등의 다양한 데이터 증강 기법을 적용한다.
• 애핀 변형은 기하학적 다양성을 증가시키면서도 클래스 간 분리성을 유지할 수 있기 때문에 가장 효과적인 증강 전략으로 선정되었다.
• 정확도, 혼동 행렬, t-SNE 시각화를 통해 다양한 증강 전략 하에서의 클래스 분리성 분석을 위해 성능을 평가한다.

실험 결과

연구 질문

• RQ1 UAV 영상에서 훈련된 딥러닝 모델이 나비벌레 기생으로 인한 개별 나무 사망 단계를 높은 정확도로 효과적으로 분류할 수 있는가?
• RQ2 다양한 데이터 증강 전략이, 특히 나무 우산 영상 데이터셋의 클래스 불균형 문제를 해결하는 데 어떻게 영향을 미치는가?
• RQ3 나무 우산 탐지에 사전 훈련된 백본을 사용할 경우, 무작위 초기화 또는 ImageNet 사전 훈련 모델을 사용하는 것보다 분류 성능이 향상되는가?
• RQ4 색상 변화나 기하학적 왜곡 등의 시각적 증상이 모델 일반화에 미치는 영향은 어느 정도이며, 증강 전략으로 이를 어떻게 완화할 수 있는가?
• RQ5 제안된 방법이 원시 RGB 데이터에 기반한 수동 특징 추출에 의존하는 전통적인 기계학습 모델을 능가할 수 있는가?

주요 결과

• 제안된 딥러닝 방법은 평균 분류 정확도 98.95%를 달성하여 기준 모델(89%)보다 9.95%포인트 높은 성능을 보였다.
• 애핀 변형 증강을 적용한 모델가 가장 높은 성능을 기록했으며, 색상 왜곡은 가장 심각한 성능 저하(83.90% 정확도)를 초래하여 색상 변화가 시각적 증상 기반 분류에 방해가 된다는 것을 시사했다.
• t-SNE 시각화를 통해 애핀 변형이 클래스 간 분리성을 손상시키지 않으면서도 기하학적 다양성을 증가시켜 가장 효과적인 증강 전략임을 확인했다.
• 혼동 행렬 분석 결과 대부분의 비행에서 거의 완벽한 분류 성능를 보였으며, 6월 60m 비행에서만 하나의 오분류(낙엽이 떨어진 나무가 빨간색으로 잘못 분류됨)가 관찰되었는데, 이는 수관 겹침으로 인한 것으로 추정된다.
• 기존 기계학습 모델(SVM, KNN, RF)의 정확도는 각각 53.10%와 40.24%에 머물러 원시 RGB 데이터에서 수동 특징 엔지니어링의 한계를 확인할 수 있었다.
• 제거 실험 결과 증강 기법이 매우 중요하다는 점을 확인했으며, 증강 없이 훈련할 경우 정확도가 97.69%로 떨어지고, 기울임과 색상 왜곡 등의 다른 전략은 성능을 심각하게 떨어뜨렸다.