[논문 리뷰] Land Use and Land Cover Classification using a Human Group based Particle Swarm Optimization Algorithm with a LSTM classifier on hybrid-pre-processing Remote Sensing Images

T. Kowsalya, Maheswari, K. Uma외 3명|arXiv (Cornell University)|2020. 08. 04.

Remote-Sensing Image Classification참고 문헌 52인용 수 9

한 줄 요약

이 논문은 원격 감지 영상에서 토지 이용 및 토지 피복(LULC) 분류를 위한 새로운 하이브리드 특징 최적화 및 딥러닝 프레임워크를 제안한다. 국소 고바르 이진 패턴, HOG, 하랄릭 특징을 인간 집단 기반 입자 군집 최적화(HG-PSO)를 통해 특징 선택에 통합한 후, LSTM 분류기로 처리하여 GoogleNet 및 VGG와 같은 모델 대비 2.56%의 정확도 향상을 달성하였다.

ABSTRACT

Land use and land cover (LULC) classification using remote sensing imagery plays a vital role in many environment modeling and land use inventories. In this study, a hybrid feature optimization algorithm along with a deep learning classifier is proposed to improve the performance of LULC classification, helping to predict wildlife habitat, deteriorating environmental quality, haphazard, etc. LULC classification is assessed using Sat 4, Sat 6 and Eurosat datasets. After the selection of remote sensing images, normalization and histogram equalization methods are used to improve the quality of the images. Then, a hybrid optimization is accomplished by using the Local Gabor Binary Pattern Histogram Sequence (LGBPHS), the Histogram of Oriented Gradient (HOG) and Haralick texture features, for the feature extraction from the selected images. The benefits of this hybrid optimization are a high discriminative power and invariance to color and grayscale images. Next, a Human Group based Particle Swarm Optimization (PSO) algorithm is applied to select the optimal features, whose benefits are fast convergence rate and easy to implement. After selecting the optimal feature values, a Long Short Term Memory (LSTM) network is utilized to classify the LULC classes. Experimental results showed that the Human Group based PSO algorithm with a LSTM classifier effectively well differentiates the land use and land cover classes in terms of classification accuracy, recall and precision. An improvement of 2.56% in accuracy is achieved compared to the existing models GoogleNet, VGG, AlexNet, ConvNet, when the proposed method is applied.

연구 동기 및 목표

• 환경 모니터링 및 서식지 평가를 위한 원격 감지 영상에서 토지 이용 및 토지 피복 분류 정확도 향상.
• 고차원적이고 노이즈가 많으며 중복된 원격 감지 특징에 대한 도전 과제를 효과적인 하이브리드 특징 최적화 전략을 통해 해결.
• 다양한 텍스처 및 기울기 기반 특징을 고급 메타휴리스틱 최적화 기법과 융합하여 분류 성능 향상.
• 장기 기억을 갖춘 순환 신경망(LSTM)의 순차적 모델링 능력을 활용하여 공간적 및 스펙트럼적으로 복잡한 토지 피복 유형의 분류 향상.
• 기준 데이터셋(Sat 4, Sat 6, Eurosat)에서 제안된 방법을 검증하고 기존 딥러닝 모델 대비 우수성을 입증.

제안 방법

• 이미지 품질과 대비를 향상시키기 위해 정규화 및 히스토GRAM 균형화를 사용한 원격 감지 영상 전처리.
• 국소 고바르 이진 패턴 히스토GRAM 시퀀스(LGBPHS), 기울기 히스토GRAM(HOG), 하랄릭 텍스처 특징을 사용한 다중 스케일 텍스처 및 기울기 특징 추출.
• 빠른 수렴성과 강건성을 갖춘 인간 집단 기반 입자 군집 최적화(HG-PSO) 알고리즘을 적용하여 가장 구분력 있는 특징 조합을 선별.
• 선택된 최적의 특징을 Long Short-Term Memory(LSTM) 네트워크에 입력하여 토지 이용 및 토지 피복 유형의 엔드 투 엔드 분류 수행.
• 색상 불변성 및 강도 불변성 특징을 융합한 하이브리드 특징 표현을 통해 다양한 이미지 조건에서의 일반화 능력 향상.
• PSO에서 인간 의사결정 행동 동역학을 모방한 사회적 군집 행동으로서의 검색 공간 모델링을 통해 특징 선택 과정 최적화.

실험 결과

연구 질문

• RQ1 LGBPHS, HOG, 하랄릭 특징을 융합한 하이브리드 특징 추출 전략이 LULC 분류의 구분 능력을 향상시킬 수 있는가?
• RQ2 인간 집단 기반 입자 군집 최적화(HG-PSO) 알고리즘이 수렴 속도 및 분류 정확도 측면에서 기존 특징 선택 방법보다 뛰어나게 작용하는가?
• RQ3 최적화된 특징과 함께 LSTM 분류기를 통합할 경우, 기존의 표준 CNN 대비 복잡한 토지 피복 유형의 분류 성능 향상 정도는 어느 정도인가?
• RQ4 기존 최첨단 모델인 GoogleNet, VGG, AlexNet, ConvNet과 비교하여 제안된 프레임워크의 성능은 어떻게 되는가?
• RQ5 이미지 전처리 기법(정규화 및 히스토GRAM 균형화)이 제안된 파이프라인의 총 분류 정확도에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 Sat 4, Sat 6, Eurosat 데이터셋에서 GoogleNet, VGG, AlexNet, ConvNet 대비 2.56%의 분류 정확도 향상을 달성하였다.
• 인간 집단 기반 PSO 알고리즘이 빠른 수렴성을 보이며 최적의 특징 조합을 효과적으로 선별하여 중복을 줄이고 구분 능력을 향상시켰다.
• LGBPHS, HOG, 하랄릭 특징의 융합은 색상 및 회색조 변화에 대해 강력한 불변성을 제공하여 다양한 이미지 조건에서의 강건성을 향상시켰다.
• LSTM 분류기는 특징 시퀀스 내의 공간적 및 맥락적 종속성을 효과적으로 포착하여 복잡한 토지 피복 유형의 분류에서 높은 재현율과 정밀도를 달성하였다.
• 정규화 및 히스토GRAM 균형화를 통한 이미지 전처리가 입력 품질을 크게 향상시켜 더 나은 특징 추출 및 분류 성과에 기여하였다.
• 하이브리드 전처리 및 최적화 파이프라인은 모든 세 가지 기준 데이터셋에서 일관된 성능 향상을 보였으며, 이는 일반화 능력을 확인시켰다.