[논문 리뷰] Development of Automatic Tree Counting Software from UAV Based Aerial Images With Machine Learning

Musa Ataş, Ayhan Talay|arXiv (Cornell University)|2022. 01. 07.

Remote Sensing and LiDAR Applications인용 수 7

한 줄 요약

이 논문은 무인항공기(UAV)에서 유도된 항공 영상과 기계학습을 활용한 자동 나무 세기 시스템을 제시한다. 특히 RGB 모odal 영상에 다층퍼셉트론(MLP) 분류기를 적용한다. 이미지 스티칭, 노이즈 제거, 그리고 HSV, RGB, 회색조에서의 객체 레이블링 이후, MLP는 네 개의 캠퍼스 지역에서 평균 87%의 정확도로 나무 탐지에 성공하였으며, 모델 직렬화와 블롭 탐지 기반 실시간 성능을 통해 최종 세기 작업을 구현하였다.

ABSTRACT

Unmanned aerial vehicles (UAV) are used successfully in many application areas such as military, security, monitoring, emergency aid, tourism, agriculture, and forestry. This study aims to automatically count trees in designated areas on the Siirt University campus from high-resolution images obtained by UAV. Images obtained at 30 meters height with 20% overlap were stitched offline at the ground station using Adobe Photoshop's photo merge tool. The resulting image was denoised and smoothed by applying the 3x3 median and mean filter, respectively. After generating the orthophoto map of the aerial images captured by the UAV in certain regions, the bounding boxes of different objects on these maps were labeled in the modalities of HSV (Hue Saturation Value), RGB (Red Green Blue) and Gray. Training, validation, and test datasets were generated and then have been evaluated for classification success rates related to tree detection using various machine learning algorithms. In the last step, a ground truth model was established by obtaining the actual tree numbers, and then the prediction performance was calculated by comparing the reference ground truth data with the proposed model. It is considered that significant success has been achieved for tree count with an average accuracy rate of 87% obtained using the MLP classifier in predetermined regions.

연구 동기 및 목표

• 기계학습을 활용해 UAV에서 유도된 항공 영상에서 나무를 자동으로 실시간으로 세는 소프트웨어 시스템을 개발한다.
• 다양한 영상 색상 모달리티(RGB, HSV, 회색조)에서 나무 탐지에 대해 다섯 가지 기계학습 분류기(MLP, SVM, KNN, 랜덤 포레스트)의 성능을 평가한다.
• 제안된 모델의 예측 정확도를 검증하기 위해 시르트 대학교 캠퍼스의 실제 나무 수를 기준으로 기준값을 확립한다.
• 픽셀 단위 분류와 블롭 탐지를 통한 실시간 처리 파이프라인을 구현하여 효율적인 나무 세기 작업을 수행한다.
• 다양한 색상 공간(RGB, HSV, 회색조) 간의 분류 성능를 비교하여 나무 탐지에 최적의 입력 모달리티를 도출한다.

제안 방법

• Siirt 대학교 캠퍼스의 고해상도 항공 영상을 촬영하기 위해 30미터 고도에서 UAV 비행을 실시하고, 20%의 이미지 겹침을 확보한다.
• Adobe Photoshop의 사진 병합 도구를 사용해 겹치는 UAV 영상들로부터 단일 오р토사진 지ap을 생성한다.
• 노이즈 감소 및 오르토사진 지도의 매끄러움을 향상시키기 위해 3x3 중앙값 및 평균 필터를 적용하여 전처리를 수행한다.
• HSV, RGB, 회색조 모달리티에서 객체 레이블링을 수행하여 기계학습을 위한 학습, 검증, 테스트 데이터셋을 생성한다.
• 레이블링된 데이터를 기반으로 10겹 교차검증을 수행하며, 네 가지 분류기(MLP, SVM, KNN, 랜덤 포레스트)를 훈련하고 교차검증한다.
• 모델 직렬화를 통해 자바에서 학습된 MLP 모델을 로드하여 재학습 없이 실시간 추론을 가능하게 한다.
• 학습된 MLP를 RGB 영상에 적용해 픽셀 단위 분류를 수행하여 나무, 토양, 잔디 등 구분된 클래스를 가진 세그먼테이션 영상을 생성한다.
• 이진 임계값 처리를 통해 나무-1 클래스(검은색 픽셀)를 분리하고, 블롭 탐지를 통해 개별 나무 영역을 식별한다.
• 크기 기반 임계값을 적용해 노이즈로 인한 가짜 양성 결과를 제거한다.
• OCL 라이브러리를 사용해 중심점 계산 및 경계 상자 오버레이를 수행하여 원본 영상에 감지된 나무를 표시하고 세는 작업을 수행한다.

실험 결과

연구 질문

• RQ1 UAV 기반 항공 영상에서 나무 탐지에 가장 높은 정확도를 보인 기계학습 분류기는 무엇인가?
• RQ2 영상 색상 모달리티(RGB, HSV, 회색조)의 선택이 나무 탐지 알고리즘의 분류 성능에 어떤 영향을 미치는가?
• RQ3 사전 학습된 MLP 분류기와 모델 직렬화를 활용해 실시간 나무 세기 시스템을 효과적으로 구현할 수 있는가?
• RQ4 크기 필터링을 적용한 블롭 탐지는 픽셀 단위 분류 이후 나무 세기 정확도를 어느 정도 향상시키는가?
• RQ5 실제 캠퍼스 데이터 기반 기준값과 비교했을 때, 제안된 시스템의 총 예측 정확도는 얼마인가?

주요 결과

• MLP 분류기가 네 개의 테스트 지역에서 평균 87%의 최고 정확도를 기록하며, SVM, KNN, 랜덤 포레스트를 모두 앞서갔다.
• RGB 모달리티가 HSV와 회색조보다 더 높은 분류 성능를 보였으며, HSV는 유사하지만 약간 낮은 결과를 보였다.
• 회색조 영상은 클래스 간 분리도가 낮고 클래스 겹침이 증가하여 가장 낮은 분류 정확도를 기록했다.
• Region-4는 93%의 가장 높은 개별 정확도를 기록했고, Region-3는 75%로 가장 낮은 성능를 보여, 다양한 지형 유형 간 탐지 성능의 변동성을 확인했다.
• 자바에서의 모델 직렬화를 통해 재학습 없이도 효율적인 실시간 추론이 가능해져 시스템의 성능이 향상되었다.
• 크기 기반 필터링을 적용한 블롭 탐지는 가짜 양성 결과를 크게 감소시켜 최종 나무 수 계산의 신뢰도를 향상시켰다.