[논문 리뷰] Automatic Plant Cover Estimation with Convolutional Neural Networks

Matthias Körschens, Paul Bodesheim외 5명|arXiv (Cornell University)|2021. 01. 01.

Species Distribution and Climate Change참고 문헌 23인용 수 2

한 줄 요약

이 논문은 고해상도 영상과 식물 전용 데이터셋을 활용한 도메인 내 미리 훈련된 표준 컨볼루션 신경망(CNN) 아키텍처를 활용하여 초본 식생 구역에서 자동으로 식생 커버를 추정하는 방법을 제안한다. 특징 피라미드 네트워크(FPNs)를 통합한 CNN 아키텍처를 사용함으로써 평균 절대 오차(MAE)가 5.16%에 도달하였으며, 이는 이전 연구를 능가하는 성능이다. 그러나 오차 분석 결과, 식물의 상호 가림(occlusion)과 죽은 식물 잔여물이 살아있는 식물 종으로 잘못 분류되는 것이 주요 과제로 드러났다.

ABSTRACT

Monitoring the responses of plants to environmental changes is essential for plant biodiversity research. This, however, is currently still being done manually by botanists in the field. This work is very laborious, and the data obtained is, though following a standardized method to estimate plant coverage, usually subjective and has a coarse temporal resolution. To remedy these caveats, we investigate approaches using convolutional neural networks (CNNs) to automatically extract the relevant data from images, focusing on plant community composition and species coverages of 9 herbaceous plant species. To this end, we investigate several standard CNN architectures and different pretraining methods. We find that we outperform our previous approach at higher image resolutions using a custom CNN with a mean absolute error of 5.16%. In addition to these investigations, we also conduct an error analysis based on the temporal aspect of the plant cover images. This analysis gives insight into where problems for automatic approaches lie, like occlusion and likely misclassifications caused by temporal changes.

연구 동기 및 목표

• 생물다양성 모니터링에서 수작업으로 이루어지며 시간이 오래 소요되는 식생 커버 추정 과정을 자동화하기 위해.
• 인간 기반 평가의 시간 해상도가 낮고 주관적이다는 한계를 해결하기 위해.
• 표준 CNN 아키텍처와 미리 훈련 전략의 성능을 픽셀 단위의 식생 커버 회귀에 대해 조사하기 위해.
• 식물 성장과 노화 과정과 관련된 실패 모드를 규명하기 위해 시간에 따른 오차 패턴을 분석하기 위해.
• 특징 피라미드 네트워크(FPNs)와 고해상도 입력과 같은 아키텍처 개선을 통해 정확도와 해석 가능성 향상을 위해.

제안 방법

• 초본 식생 집단의 고해상도 영상에서 표준 CNN 아키텍처(ResNet50, InceptionV3, DenseNet121)를 훈련시켰다.
• 출력 해상도를 높이고 국소화 성능을 향상시키기 위해 특징 피라미드 네트워크(FPNs)를 활용해 특징 표현을 강화하였다.
• 수용 영역과 척도 민감도를 평가하기 위해 다양한 영상 해상도에서 성능을 평가하였다.
• ImageNet과 같은 외부 도메인 데이터셋이 아닌 식물 전용 데이터셋에서의 도메인 내 미리 훈련과 ImageNet에서의 외부 도메인 미리 훈련을 비교하였다.
• 각 픽셀의 클래스 확률을 예측하기 위해 픽셀 단위의 분류 헤드를 적용하였으며, 이를 집계하여 종 별 커버 백분율을 추정하였다.
• 영상 촬영 주차에 따라 예측 결과를 그룹화하여 시간에 따른 오차 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 표준 CNN 아키텍처(ResNet50, InceptionV3, DenseNet121)가 이전 연구의 방법과 비교하여 식생 커버 추정 성능에서 어떻게 다를까?
• RQ2 특징 피라미드 네트워크(FPNs) 통합이 예측 정확도와 해석 가능성에 어느 정도 향상 효과를 미치는가?
• RQ3 영상 해상도가 식생 커버 추정 네트워크의 성능에 어떤 영향을 미치는가?
• RQ4 식물 전용 데이터셋에서의 도메인 내 미리 훈련과 ImageNet에서의 외부 도메인 미리 훈련 간 성능에 어떤 영향을 미치는가?
• RQ5 예측 오류의 주요 원인은 무엇인가, 특히 식물 성장, 상호 가림, 노화와의 관련성에서 어떤가?

주요 결과

• 제안된 방법은 고해상도 영상에서 평균 절대 오차(MAE)가 5.16%로, 저자들의 이전 방법을 능가하는 성능을 달성하였다.
• FPN 통합으로 인해 ResNet50가 가장 높은 성능 향상을 보였으며, 이는 특징 국소화 능력 향상과 관련이 있다.
• 더 높은 영상 해상도가 일관되게 예측 정확도 향상에 기여하였으며, 이는 고해상도 영상 확보를 우선시해야 함을 시사한다.
• 모든 네트워크에서 식물 전용 데이터셋에서의 도메인 내 미리 훈련이 ImageNet에서의 외부 도메인 미리 훈련보다 더 좋은 결과를 냈으며, DenseNet121를 제외한 모든 경우에서 그러한 경향을 보였다. 이는 도메인 관련성의 중요성을 시사한다.
• 시간에 따른 오차 분석 결과, 주 4차순에 예측 오차가 급격히 증가하였으며, 이는 급격한 식물 성장과 증가하는 상호 가림 현상과 일치한다. 이는 분할(segmentation)을 혼란스럽게 만들 가능성이 있다.
• 오류의 상당 부분은 사망한 식물 잔여물과 살아있는 식물 종을 구분하지 못하는 네트워크의 능력 부족에서 기인하며, 특히 노화 단계에서 두드러진다. 이는 미리 훈련 데이터에 이러한 클래스가 포함되어 있지 않은 데 기인할 가능성이 있다.