[논문 리뷰] Convolutional Neural Networks and Data Augmentation for Spectral-Spatial Classification of Hyperspectral Images.

Jacopo Acquarelli, Elena Marchiori외 3명|arXiv (Cornell University)|2017. 11. 15.

Remote-Sensing Image Classification인용 수 10

한 줄 요약

이 논문은 새로운 데이터 증강 전략과 특별히 설계된 손실 함수를 통해 단일 레이어 컨볼루션 신경망을 강화한 스펙트럼-공간 분류 방법을 제안한다. 이 손실 함수는 근접한 스펙트럼 대역 간 유사성을 강제한다. 각 클래스당 레이블이 부여된 픽셀이 1%에 불과한 조건에서, 다섯 개의 벤치마크 데이터셋에서 99.5%의 정확도를 달성하며, 저샷 및 지도 학습 설정에서 기존의 베이스라인을 크게 능가한다.

ABSTRACT

Spectral-spatial classification of remotely sensed hyperspectral images has been the subject of many studies in recent years. Current methods achieve excellent performance on benchmark hyperspectral image labeling tasks when a sufficient number of labeled pixels is available. However, in the presence of only very few labeled pixels, such classification becomes a challenging problem. In this paper we propose to tackle this problem using convolutional neural networks (CNNs) and data augmentation. Our newly developed method relies on the assumption of spectral-spatial locality: nearby pixels in a hyperspectral image are related, in the sense that their spectra and their labels are likely to be similar. We exploit this assumption to develop 1) a new data augmentation procedure which adds new samples to the train set and 2) a tailored loss function which penalize differences among weights of the network corresponding to nearby wavelengths of the spectra. We train a simple single layer convolutional neural network with this loss function and augmented train set and use it to classify all unlabeled pixels of the given image. To assess the efficacy of our method, we used five publicly available hyperspectral images: Pavia Center, Pavia University, KSC, Indian Pines and Salina. On these images our method significantly outperforms other baselines. Notably, with just 1% of labeled pixels per class, on these dataset our method achieves an accuracy of 99.5%, etc. Furthermore we show that our method improves over other baselines also in a supervised setting, when no overlap between train and test pixels is allowed. Overall our investigation demonstrates that spectral-spatial locality can be easily embedded in a simple convolutional neural network through data augmentation and a tailored loss function.

연구 동기 및 목표

• 매우 적은 수의 레이블이 부여된 픽셀만 이용 가능한 상황에서 고분광 영상 분류의 과제를 해결한다.
• 근접한 픽셀들이 유사한 스펙트럼과 레이블을 공유한다는 가정인 스펙트럼-공간 국소성(spectral-spatial locality)을 활용하여 학습 효율성을 향상시킨다.
• 제한된 레이블이 부여된 데이터셋을 확장하기 위해 현실적이고 공간적으로 일관된 학습 샘플을 생성하는 데이터 증강 기법을 개발한다.
• 연속된 스펙트럼 대역 간의 가중치 차이를 강하게 페널티 처리하는 맞춤형 손실 함수를 설계하여 스펙트럼의 매끄러움을 강제한다.
• 여러 벤치마크 고분광 영상 데이터셋에서 저샷 및 표준 지도 학습 설정 모두에서 최신 기술 수준의 성능을 입증한다.

제안 방법

• 고분광 영상에서 근접한 픽셀 간의 공간적 및 스펙트럼적 유사성을 활용하여 새로운 학습 샘플을 생성하는 데이터 증강 절차를 제안한다.
• 증강된 학습 세트를 사용하여 단순한 단일 레이어 컨볼루션 신경망을 훈련시켜 영상 내 모든 레이블이 없는 픽셀을 분류한다.
• 연속된 스펙트럼 대역에 해당하는 네트워크 가중치 간 큰 차이를 명시적으로 페널티 처리하는 맞춤형 손실 함수를 도입하여 스펙트럼의 매끄러움을 강제한다.
• 훈련 중에 이 손실 함수를 적용하여 네트워크가 인접한 파장에서 일관된 표현을 학습하도록 유도한다.
• 국소 이미지 패치에서 추출한 스펙트럼-공간 특징을 사용하여 완전 연결 층을 구성함으로써 엔드 투 엔드 학습을 가능하게 한다.
• 깊은 아키텍처를 피하고 데이터 및 손실 함수 설계를 통한 인덕티브 바이어스에 집중함으로써 방법의 경량성과 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 고분광 영상에서 극히 적은 수의 레이블이 부여된 경우, 스펙트럼-공간 국소성을 효과적으로 활용하여 분류 성능을 향상시킬 수 있는가?
• RQ2 매우 적은 수의 레이블이 부여된 경우, 제안된 데이터 증강 전략이 모델의 일반화 능력을 어떻게 향상시키는가?
• RQ3 기본적인 손실 함수와 비교할 때, 스펙트럼 국소성 인식 손실 함수는 모델의 강건성과 정확도를 어느 정도 향상시키는가?
• RQ4 훈련 및 테스트 픽셀 간에 겹침이 없는 엄격한 지도 학습 설정에서도 이 방법은 우수한 성능을 유지하는가?
• RQ5 데이터가 부족한 상황에서 적절한 인덕티브 바이어스를 갖춘 단순한 단일 레이어 CNN이 더 깊은 모델을 능가할 수 있는가?

주요 결과

• 클래스당 레이블이 부여된 픽셀이 1%에 불과한 조건에서, 제안된 방법은 Pavia Center, Pavia University, KSC, Indian Pines, Salina 데이터셋에서 모두 99.5%의 분류 정확도를 달성한다.
• 이 방법은 저샷 학습 시나리오에서 기존의 베이스라인을 크게 능가하며, 최소한의 감독 정보로부터 강력한 일반화 능력을 보여준다.
• 스펙트럼의 매끄러움을 강제하는 맞춤형 손실 함수는 과적합을 줄이고 인접한 대역 간 특징 일관성을 향상시켜 성능 향상을 이끈다.
• 데이터 증강 전략은 현실적이고 공간적으로 일관된 샘플을 효과적으로 확장하여 모델의 강건성을 향상시킨다.
• 훈련 및 테스트 픽셀 간에 겹침이 없는 엄격한 지도 학습 설정에서도, 이 방법은 다른 최신 기술 수준의 접근법보다 뛰어난 정확도를 달성한다.
• 데이터 증강과 스펙트럼 국소성 인식 손실 함수의 조합 덕분에, 단순한 단일 레이어 CNN이 낮은 데이터 환경에서 더 깊은 모델의 성능을 따라하거나 능가할 수 있다.