[논문 리뷰] Individual Tree Detection in Large-Scale Urban Environments using High-Resolution Multispectral Imagery

Jonathan Ventura, Camille Pawlak외 11명|arXiv (Cornell University)|2022. 08. 22.

Remote Sensing in Agriculture인용 수 6

한 줄 요약

이 논문은 고해상도 다중스펙트럼 항공 영상을 사용하여 도시 전역의 개별 나무를 탐지하기 위한 딥러닝 방법을 제안한다. U-Net 유사 네트워크(HR-SFANet)를 활용해 나무 위치의 신뢰도 맵을 회귀함으로써, 캘리포니아 남부 지역 데이터에서 73.6%의 정밀도와 73.3%의 재현율을 달성하였으며, 캘리포니아 도시 숲의 대규모 맵핑을 가능하게 하여 약 4350만 그루의 나무를 추정하였다.

ABSTRACT

We introduce a novel deep learning method for detection of individual trees in urban environments using high-resolution multispectral aerial imagery. We use a convolutional neural network to regress a confidence map indicating the locations of individual trees, which are localized using a peak finding algorithm. Our method provides complete spatial coverage by detecting trees in both public and private spaces, and can scale to very large areas. We performed a thorough evaluation of our method, supported by a new dataset of over 1,500 images and almost 100,000 tree annotations, covering eight cities, six climate zones, and three image capture years. We trained our model on data from Southern California, and achieved a precision of 73.6% and recall of 73.3% using test data from this region. We generally observed similar precision and slightly lower recall when extrapolating to other California climate zones and image capture dates. We used our method to produce a map of trees in the entire urban forest of California, and estimated the total number of urban trees in California to be about 43.5 million. Our study indicates the potential for deep learning methods to support future urban forestry studies at unprecedented scales.

연구 동기 및 목표

• 공개된 고해상도 다중스펙트럼 영상을 활용해 도시 환경에서 개별 나무를 탐지할 수 있는 확장 가능한 딥러닝 방법을 개발하는 것.
• 수동 인vent리가 공공 영역의 나무만을 캡처하는 데 한계가 있는 점을 고려해, 공공 및 사적 도시 토지 전역에 걸쳐 공간적으로 완전한 나무 탐지 커버리지를 제공하는 것.
• 다양한 기후대와 영상 촬영 일자에 걸쳐 대규모이고 다양한 데이터셋을 활용해 모델의 일반화 능력을 평가하는 것.
• 캘리포니아 주 수준의 도시 나무 맵을 제작하여 전체 도시 나무 수를 대규모로 추정하는 것.
• 경계상자 대신 점(annotation)을 사용하는 것이 가능함을 보여주어, 작업 시간을 줄이면서도 성능을 유지할 수 있음을 입증하는 것.

제안 방법

• 60cm 다중스펙트럼 항공 영상에서 특징 추출을 위해 VGG-16 인코더를 사용하는 수정된 U-Net 아키텍처인 HR-SFANet를 활용한다.
• 디코더 헤드가 스트리밍된 특징 맵을 통해 나무 위치의 정확도를 회귀하여 신뢰도 맵을 생성하며, 인코더 레이어의 스킵 커넥션을 통해 공간 정보를 유지한다.
• 예측 정확도를 향상시키기 위해 신뢰도 맵에 주의 맵을 계산하고 곱하여 보정한다.
• 비최대 억제(NMS)나 경계상자 회귀가 필요 없이, 신뢰도 맵의 피크 탐지 기반으로 나무 위치를 식별한다.
• 점(annotation)에 기반한 이진 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시키며, 정확도 향상을 위해 데이터 증강 기법을 적용한다.
• 이미지를 패치 단위로 처리하고 결과를 연결하는 방식으로 대규모 영역에 대한 확장성을 확보하여 주 수준의 맵핑을 가능하게 한다.

실험 결과

연구 질문

• RQ1 캘리포니아 한 지역의 다중스펙트럼 영상으로 훈련된 딥러닝 모델이 다른 기후대와 영상 촬영 일자에 일반화 가능한가?
• RQ2 경계상자 기반 기존 객체 탐지 방식과 비교해, 점 기반 탐지 방식이 도시 나무 탐지에서 성능에 미치는 영향은 어떠한가?
• RQ3 공공 영역 영상으로만 훈련된 모델이 사적 영역의 나무를 명시적인 훈련 없이 얼마나 잘 탐지할 수 있는가?
• RQ4 공개된 데이터를 활용해 미국 주 전체의 도시 숲을 맵핑하는 데 있어 이 방법의 확장성은 어느 정도인가?
• RQ5 캘리포니아 전체 도시 숲에 적용했을 때, 최종적으로 도출된 나무 수 계산의 정확도는 어느 정도인가?

주요 결과

• 모델은 캘리포니아 남부 지역 데이터를 테스트한 결과, 정밀도 73.6%와 재현율 73.3%를 기록하여 목표 지역에서 뛰어난 성능을 입증하였다.
• 다른 캘리포니아 기후대와 영상 촬영 일자로 확장했을 때, 정밀도는 유사하게 유지되었지만 약간 낮은 재현율을 보이며 중간 수준의 일반화 능력을 보였다.
• 모델은 공공 및 사적 토지 전역에서 나무를 성공적으로 탐지하여, 도시 나무 탐지의 공간적 완전성 커버리지를 달성하였다.
• 훈련된 모델을 활용해 연구진은 캘리포니아 전역의 도시 지역을 맵핑하고 전체 도시 나무 수를 약 4350만 그루로 추정하였다.
• 8개 도시, 6개 기후대, 3년 간의 데이터를 포함한 1500여 장의 영상과 약 10만 개의 나무 점(annotation)을 포함한 데이터셋은 향후 도시 나무 탐지 연구를 위한 견고한 기준이 되었다.
• 경계상자 대신 점 annotation을 사용함으로써 작업 시간을 줄였고, 높은 탐지 정확도를 유지할 수 있었으며, 기존 도시 나무 인벤토리와의 통합 가능성을 뒷받침하였다.