[논문 리뷰] Hyperspectral Data Augmentation

Jakub Nalepa, Michał Myller외 1명|arXiv (Cornell University)|2019. 03. 13.

Remote-Sensing Image Classification참고 문헌 13인용 수 4

한 줄 요약

이 논문은 학습 시간을 늘리지 않고도 딥 뉴럴 네트워크의 일반화 성능을 향상시키기 위해 추론 중에 합성 샘플을 생성하는 새로운 온라인 고분광 데이터 증강 기법을 제안한다. 이 기법은 데이터 분포와 클래스 간 관계를 유지하는 주성분 분석 기반 증강 방법을 도입하여, 오프라인 기법과 조합했을 때 최신 기술 수준의 분류 정확도를 달성하며 실시간 추론 성능을 확보한다.

ABSTRACT

Data augmentation is a popular technique which helps improve generalization capabilities of deep neural networks. It plays a pivotal role in remote-sensing scenarios in which the amount of high-quality ground truth data is limited, and acquiring new examples is costly or impossible. This is a common problem in hyperspectral imaging, where manual annotation of image data is difficult, expensive, and prone to human bias. In this letter, we propose online data augmentation of hyperspectral data which is executed during the inference rather than before the training of deep networks. This is in contrast to all other state-of-the-art hyperspectral augmentation algorithms which increase the size (and representativeness) of training sets. Additionally, we introduce a new principal component analysis based augmentation. The experiments revealed that our data augmentation algorithms improve generalization of deep networks, work in real-time, and the online approach can be effectively combined with offline techniques to enhance the classification accuracy.

연구 동기 및 목표

• 원격 감지 분야에서 확보가 어려우며 비용이 많이 들고 불균형한 고분광 영상(HSI) 학습 데이터 문제를 해결하기 위해.
• 학습 시간을 늘리지 않고도 고분광 영상 분류 및 세분화에서 딥 뉴럴 네트워크의 일반화 성능을 향상시키기 위해.
• 사전 학습 단계가 아닌 추론 시점에 합성 샘플을 생성하는 새로운 온라인 데이터 증강 방법을 제안하기 위해.
• 데이터 분포와 클래스 간 관계를 유지하는 주성분 분석 기반 증강 기법을 개발하기 위해.
• 온라인 및 오프라인 증강 기법을 조합했을 때의 분류 정확도 향상 효과를 평가하기 위해.

제안 방법

• 노이즈 주입과 주성분 분석 기반 변환을 사용해 추론 중에 합성 HSI 샘플을 생성함으로써 온라인 데이터 증강을 제안한다.
• 데이터를 낮은 차원 공간으로 투영하고, 변형을 가한 후 모든 주성분을 사용해 원래 공간으로 다시 투영하는 주성분 분석 기반 증강 방법을 적용한다.
• 원본 및 증강된 샘플에 대한 투표 방식을 통해 최종 예측를 결정함으로써 정밀도를 향상시킨다.
• 원본 학습 데이터셋에 대해 주성분 분석을 학습하고, 이를 오프라인(학습 데이터 증강) 및 온라인(테스트 시 샘플 생성) 모두에 적용한다.
• 효율적인 추론을 위해 경량 1D 스펙트럼 CNN을 사용하며, 배치 정규화와 완전 연결층을 통해 분류를 수행한다.
• 온라인 증강(PCA-ON, 노이즈-ON)과 오프라인 기법(PCA, GAN, 노이즈)을 조합하여 모델 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 추론 중 온라인 데이터 증강이 고분광 영상 분류에서 딥 뉴럴 네트워크의 일반화 성능 향상에 기여하는가?
• RQ2 주성분 분석 기반 데이터 증강이 HSI 데이터의 원래 데이터 분포와 클래스 간 관계를 얼마나 잘 유지하는가?
• RQ3 온라인 및 오프라인 데이터 증강을 조합했을 때 HSI 벤치마크에서의 분류 정확도에 어떤 영향을 미치는가?
• RQ4 추론 속도 저하 없이 온라인 증강을 실시간으로 수행할 수 있는가?
• RQ5 성능 및 학습 효율성 측면에서 기존의 오프라인 증강 기법과 비교해 온라인 증강은 어떤가?

주요 결과

• PCA-ON과 노이즈 주입을 활용한 온라인 데이터 증강은 Salinas Valley, Indian Pines, Pavia University의 세 가지 HSI 벤치마크에서 모두 분류 정확도를 크게 향상시켰다.
• 오프라인 PCA와 온라인 PCA-ON(PCA/PCA-ON)의 조합이 가장 높은 총합 정확도를 기록했으며, 기준 모델 대비 최대 2.5% 향상된 성능을 보였다.
• 제안된 온라인 방법은 실시간 추론 속도를 유지하여 위성 플랫폼과 같은 자원 제약 환경에서의 구현에 적합하다.
• 주성분 분석 기반 증강은 시각화 및 정량적 분석을 통해 원래 데이터 분포와 클래스 간 관계를 잘 유지함을 확인했다.
• GAN 기반 오프라인 증강과 온라인 PCA-ON을 조합함으로써 성능 향상이 더욱 뚜렷했으며, 두 기법이 상호 보완적임을 입증했다.
• 특히 제한된 학습 데이터와 불균형한 데이터셋을 다룰 때 기존 최신 기술 수준의 오프라인 증강 기법을 뛰어넘는 성능을 기록했다.