[논문 리뷰] An Open-source Tool for Hyperspectral Image Augmentation in Tensorflow

Mohamed Abdelhack|arXiv (Cornell University)|2020. 03. 30.

Remote-Sensing Image Classification참고 문헌 10인용 수 7

한 줄 요약

이 논문은 네 개 이상의 스펙트럼 채널을 가진 고분광 위성 영상에 대해 TensorFlow 호환의 오픈소스 이미지 증강 도구를 소개한다. Keras/TensorFlow의 기본 기능을 초월하여 13개의 스펙트럼 대역을 지원하며, 플립, 회전, 줌, 시어링, 스펙클 노이즈 등의 기법을 제공한다. 플립을 적용한 경우 테스트 정확도가 93.43%로 상승했고, 스펙클 노이즈를 적용한 경우 91.25%로 나타나, 증강 없이 기준 모델을 초월한다.

ABSTRACT

Satellite imagery allows a plethora of applications ranging from weather forecasting to land surveying. The rapid development of computer vision systems could open new horizons to the utilization of satellite data due to the abundance of large volumes of data. However, current state-of-the-art computer vision systems mainly cater to applications that mainly involve natural images. While useful, those images exhibit a different distribution from satellite images in addition to having more spectral channels. This allows the use of pretrained deep learning models only in a subset of spectral channels that are equivalent to natural images thus discarding valuable information from other spectral channels. This calls for research effort to optimize deep learning models for satellite imagery to enable the assessment of their utility in the domain of remote sensing. Tensorflow tool allows for rapid prototyping and testing of deep learning models, however, its built-in image generator is designed to handle a maximum of four spectral channels. This manuscript introduces an open-source tool that allows the implementation of image augmentation for hyperspectral images in Tensorflow. Given how accessible and easy-to-use Tensorflow is, this tool would provide many researchers with the means to implement, test, and deploy deep learning models for remote sensing applications.

연구 동기 및 목표

• 네 개 이상의 스펙트럼 채널을 가진 고분광 위성 영상에 대해 오픈소스이자 TensorFlow 네이티브인 도구가 부족한 문제를 해결하기 위해.
• TensorFlow와 같은 널리 쓰이는 프레임워크를 사용하여 고분광 원격 측정 데이터에 표준 딥러닝 데이터 증강 기법을 적용할 수 있도록 하기 위해.
• 위성 영상에 특화된 노이즈 모델과 기하학적 변환을 도입함으로써, 고분광 위성 영상 분류에 대한 딥 네트워크의 일반화 능력과 성능을 향상시키기 위해.
• EuroSAT과 같은 오픈 액세스 위성 데이터와 호환되는, 사용이 용이하고 MIT 라이선스가 적용된 도구를 제공함으로써 원격 측정 분야의 딥러닝 접근성을 넓히기 위해.

제안 방법

• scikit-image 도구를 사용하여 Python으로 커스터마이징된 이미지 생성기를 개발하여, 최대 13채널의 고분광 영상에 대해 TensorFlow의 Keras ImageDataGenerator를 확장하였다.
• 표준 증강 기법을 구현: 수평/수직 플립, 최대 90도까지의 회전, 최대 1.5배까지의 줌, 영상 크기의 25% 이내의 이동, 최대 5%까지의 시어링, 분산 0.010인 스펙클(곱셈형) 노이즈.
• 형태파일 좌표를 사용하여 JPEG 2000 위성 영상에서 직접 영상 조각을 추출하도록 도구를 설계하여, 훈련 중 공간적 맥락을 유지하였다.
• 10개 클래스 분류를 위해 13채널 입력을 수용하도록 수정한 VGG19를 기본 CNN 아키텍처로 사용하였고, 완전 연결층을 2048×2048, 2048×1024, 1024×10으로 재구성하였다.
• 실시간 영상 자르기 및 변환을 통해 훈련 중 데이터 증강을 적용하였으며, 이동 또는 시어링 후 이미지 크기를 유지하기 위해 가장자리 픽셀을 반복 복제하였다.
• 에포크당 500개 배치(각각 128장의 이미지)로 10 에포크 동안 훈련하였고, Adam 옵timizer(초기 학습률=0.001)와 분류 교차엔트로피 손실 함수를 사용하였다.

실험 결과

연구 질문

• RQ1 자연 영상 딥러닝에서 사용하는 표준 이미지 증강 기법이 고분광 위성 영상에 효과적으로 적용될 수 있는가?
• RQ2 위성 데이터에서 흔한 스펙클 노이즈의 포함이 고분광 영상 분류에서 모델의 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ3 제한된 고분광 데이터셋으로 훈련된 딥 네트워크에서 데이터 증강이 테스트 정확도를 얼마나 향상시키고 오버피팅을 얼마나 줄이는가?
• RQ4 TensorFlow 호환의 오픈소스 도구가 딥러닝 프레임워크와 원격 측정 응용 분야 간의 격차를 메울 수 있는가?

주요 결과

• 수평 및 수직 플립으로 테스트 정확도가 93.43%로 상승하여, 증강 없이 기준 모델의 87.66%를 크게 초월하였다.
• 5% 범위의 시어링으로 최고의 테스트 정확도 90.93%를 기록하여 기하학적 왜곡에 대한 강력한 일반화 이점을 보였다.
• 분산 0.010인 스펙클 노이즈 증강으로 테스트 정확도가 91.25%로 향상되어 실제 위성 노이즈를 시뮬레이션하는 데의 가치를 입증하였다.
• 줌 증강은 기준 모델 대비 약간의 정확도 하락(88.59%)을 보였는데, 이는 이미지 왜곡 또는 팯딩 효과 때문일 수 있다.
• 이동 증강은 테스트 정확도를 70.00%로 떨어뜨렸는데, 이미지가 이동할 때 가장자리에 파손적인 패딩이 적용된 탓일 것이다.
• 증강 없이 훈련된 모델은 테스트 정확도 87.66%를 기록했지만, 학습 가능한 파rameter가 2100만 개이고 훈련 샘플이 21,000개여서 오버피팅 위험이 높았으며, 이는 증강의 필요성을 강조한다.