[논문 리뷰] Automatic classification of trees using a UAV onboard camera and deep learning

Masanori Onishi, Takeshi Ise|arXiv (Cornell University)|2018. 04. 27.

Remote Sensing and LiDAR Applications인용 수 23

한 줄 요약

이 논문은 소비자용 드론과 딥러닝을 사용하여 표준 RGB 영상만으로도 비용 효율적인 자동 수종 분류 방법을 제시한다. 드론 영상에서 개별 수목 관을 분할하고 오브제кт 기반 딥러닝을 적용함으로써, 일곱 종의 수종을 89.0%의 정확도로 분류하는 데 성공하였으며, 이는 고비용의 다중스펙트럼 센서가 없이도 높은 성능을 달성할 수 있음을 보여준다.

ABSTRACT

Automatic classification of trees using remotely sensed data has been a dream of many scientists and land use managers. Recently, Unmanned aerial vehicles (UAV) has been expected to be an easy-to-use, cost-effective tool for remote sensing of forests, and deep learning has attracted attention for its ability concerning machine vision. In this study, using a commercially available UAV and a publicly available package for deep learning, we constructed a machine vision system for the automatic classification of trees. In our method, we segmented a UAV photography image of forest into individual tree crowns and carried out object-based deep learning. As a result, the system was able to classify 7 tree types at 89.0% accuracy. This performance is notable because we only used basic RGB images from a standard UAV. In contrast, most of previous studies used expensive hardware such as multispectral imagers to improve the performance. This result means that our method has the potential to classify individual trees in a cost-effective manner. This can be a usable tool for many forest researchers and managements.

연구 동기 및 목표

• 상용 드론을 사용하여 저비용의 자동 개별 수종 분류 시스템을 개발하기 위해.
• 고비용의 다중스펙트럼 또는 초스펙트럼 영상에 의존하는 전통적인 원격 감지 방법의 한계를 극복하기 위해.
• 표준 RGB 영상과 딥러닝을 사용하여도 높은 분류 정확도를 달성할 수 있음을 입증하기 위해.
• 림역학자와 토지 관리자들이 실질적으로 활용할 수 있고 확장 가능한 도구를 제공하기 위해.

제안 방법

• 표준 RGB 카메라를 장착한 상용 드론을 사용하여 숲 영상을 촬영함.
• 드론 사진에서 개별 수목 관을 분리하기 위해 영상 분할 기법을 적용함.
• 분할된 수목 관 영역을 바탕으로 오브제кт 기반 딥러닝 접근법을 사용하여 수종을 분류함.
• 공개된 딥러닝 프레임워크를 사용하여 분류 모델을 훈련하고 배포함.
• 다중스펙트럼 또는 초스펙트럼 입력이 필요 없이 RGB 이미지 데이터만으로 모델을 훈련함.
• 현장 또는 비행 후 분석을 통해 실시간 처리를 최적화한 파이프라인을 구축함.

실험 결과

연구 질문

• RQ1 고비용의 다중스펙트럼 센서가 없이도 표준 RGB 드론 영상으로 높은 정확도의 수종 분류가 가능할 수 있는가?
• RQ2 드론 영상에서 분할된 수목 관에 적용한 오브제кт 기반 딥러닝의 효과는 어떠한가?
• RQ3 소비자용 드론 하드웨어와 오픈소스 딥러닝 도구만으로도 어떤 정도의 분류 정확도를 달성할 수 있는가?
• RQ4 이 방법은 기존의 고비용 원격 감지 기법에 대한 실용적이고 저비용의 대안이 될 수 있는가?

주요 결과

• 표준 RGB 드론 영상만을 사용하여 일곱 종의 수종에 대해 총 분류 정확도 89.0%를 달성함.
• 고비용의 다중스펙트럼 영상 하드웨어가 필요한 이전의 많은 접근법보다 성능이 뛰어남.
• 분할된 수목 관에 적용한 오브제кт 기반 딥러닝은 픽셀 기반 방법에 비해 분류 성능을 크게 향상시킴.
• 이 방법은 확장 가능하고 비용 효율적이므로 산림 관리 및 생태학적 연구 분야에서 널리 활용 가능함.
• 최소한의 하드웨어 투자와 공개된 딥러닝 도구만으로도 높은 정확도를 달성할 수 있음을 입증함.
• 이 연구는 오프더쇼프 기술을 사용하여 실생활 산림 응용 분야에 자동 수종 분류를 구현할 수 있음을 확인함.