[논문 리뷰] A Deep Learning Approach Based on Graphs to Detect Plantation Lines

Diogo Nunes Gonçalves, Mauro dos Santos de Arruda외 9명|arXiv (Cornell University)|2021. 02. 05.

Remote Sensing and LiDAR Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 드론 기반 RGB 항공 영상에서 식생 줄무늬를 탐지하기 위한 그래프 기반 딥러닝 방법을 제안한다. 시각적 특징, 선형 확률, 이동 벡터 정렬을 활용하여 식물 간 가장자리를 선형 구조로 분류한다. 이 방법은 98.7% 정밀도, 91.9% 재현율, 95.1% F1 점수를 기록하여, 간격이 있는 식생 패턴과 간격 끊어진 식생 패tern을 탐지하는 데 있어 최신 기술을 능가한다.

ABSTRACT

Deep learning-based networks are among the most prominent methods to learn linear patterns and extract this type of information from diverse imagery conditions. Here, we propose a deep learning approach based on graphs to detect plantation lines in UAV-based RGB imagery presenting a challenging scenario containing spaced plants. The first module of our method extracts a feature map throughout the backbone, which consists of the initial layers of the VGG16. This feature map is used as an input to the Knowledge Estimation Module (KEM), organized in three concatenated branches for detecting 1) the plant positions, 2) the plantation lines, and 3) for the displacement vectors between the plants. A graph modeling is applied considering each plant position on the image as vertices, and edges are formed between two vertices (i.e. plants). Finally, the edge is classified as pertaining to a certain plantation line based on three probabilities (higher than 0.5): i) in visual features obtained from the backbone; ii) a chance that the edge pixels belong to a line, from the KEM step; and iii) an alignment of the displacement vectors with the edge, also from KEM. Experiments were conducted in corn plantations with different growth stages and patterns with aerial RGB imagery. A total of 564 patches with 256 x 256 pixels were used and randomly divided into training, validation, and testing sets in a proportion of 60\%, 20\%, and 20\%, respectively. The proposed method was compared against state-of-the-art deep learning methods, and achieved superior performance with a significant margin, returning precision, recall, and F1-score of 98.7\%, 91.9\%, and 95.1\%, respectively. This approach is useful in extracting lines with spaced plantation patterns and could be implemented in scenarios where plantation gaps occur, generating lines with few-to-none interruptions.

연구 동기 및 목표

• 공간적으로 간격이 있는 식생 패턴을 가진 항공 RGB 영상에서 식생 줄무늬를 탐지하는 데 도전하는 것.
• 전통적 방법이 손상시키는 간격, 고립된 식물, 잡초가 있는 환경에서도 선형 탐지의 강건성을 향상시키는 것.
• 이동 벡터를 통한 식물 간 기하학적 관계를 딥러닝 프레임워크에 통합하여 선형 탐지 성능을 향상시키는 것.
• 다양한 생육 단계와 복잡한 식생 기하학적 구조에 일반화할 수 있는 방법을 개발하는 것.
• 그래프 모델링과 딥 특징을 조합하여 원격 감지 분야에서 선형 객체 탐지에 효과적인지 입증하는 것.

제안 방법

• VGG16 백본이 옥수수 식재지의 256×256 RGB 영상 패치에서 초기 특징 맵을 추출한다.
• 지식 평가 모듈(KEM)이 특징 맵을 3개의 병렬 브랜치를 통해 처리한다: 식물 위치 탐지, 선형 확률 추정, 이동 벡터 계산.
• 각 식물을 그래프의 정점으로 모델링하고, 공간적 근접성을 기반으로 인접한 식물 간에 간선을 형성한다.
• 간선이 식생 줄무늬의 일부로 분류되기 위해서는 세 가지 확률에 기반한다: 시각적 특징 유사도, KEM에서 유도된 선형 소속 가능성, 간선 방향과 이동 벡터의 정렬 정도.
• 최종 분류는 각 확률 성분에 대해 임계값 0.5를 사용하여 간선이 선형에 속하는지 여부를 결정한다.
• 모델는 564개의 패치로 구성된 데이터셋을 60% 훈련, 20% 검증, 20% 테스트 세트로 나누어 훈련 및 평가된다.

실험 결과

연구 질문

• RQ1 기존의 딥러닝 방법에 비해 그래프 기반 딥러닝 모델이 드론 RGB 영상에서 간격이 있는 식생 줄무늬 탐지 성능을 향상시킬 수 있는가?
• RQ2 이동 벡터 정렬을 통합함으로써 간격과 고립된 식물 존재 시 선형 탐지의 강건성이 어떻게 향상되는가?
• RQ3 시각적 특징, 선형 확률, 기하학적 일관성의 조합이 복잡한 농업 패턴에서 탐지 성능에 얼마나 기여하는가?
• RQ4 제안된 방법이 옥수수 식재지의 다양한 생육 단계와 비정규적인 줄무늬 패턴에 일반화 가능한가?
• RQ5 딥 특징과 그래프 모델링을 통합함으로써 원격 감지 응용 분야에서 선형 특징 추출 성능이 향상되는가?

주요 결과

• 제안된 방법은 테스트 데이터에서 정밀도 98.7%, 재현율 91.9%, F1 점수 95.1%를 기록하여 Deep Hough Transform 및 PPGNet과 같은 최신 기술을 뛰어넘었다.
• KEM 브랜치에 이동 벡터 정렬을 통합함으로써 고립된 식물과 잡초로 인한 오분류를 줄여 탐지 강건성을 향상시켰다.
• 모델는 다양한 옥수수 생육 단계와 비정규적인 줄무늬 패턴(심한 간격 포함)에서도 강력한 일반화 능력을 보였다.
• 그래프 기반 간선 분류 메커니즘이 식생 줄무늬의 선형 연속성을 적은 수의 간헐적 끊김 조건에서도 효과적으로 포착했다.
• 제거 실험(ablation study) 결과, 세 번째 브랜치(이동 벡터 정렬)가 성능 향상에 핵심적임을 확인했으며, 이 브랜치를 제거하면 성능이 크게 떨어졌다.
• 이 방법은 원격 감지 영상에서 도로, 강, 유틸리티 선로 등의 다른 선형 특징 탐지 작업으로도 확장 가능하다.