[논문 리뷰] Unsupervised Feature Learning by Autoencoder and Prototypical Contrastive Learning for Hyperspectral Classification

Zeyu Cao, Xiaorun Li외 1명|arXiv (Cornell University)|2020. 09. 02.

Remote-Sensing Image Classification참고 문헌 37인용 수 9

한 줄 요약

이 논문은 레이블이 없는 데이터를 사용하여 더 잘 표현되는 특징을 학습하기 위해 변분 오토인코더(VAE), 적대적 오토인코더(AAE), 그리고 새로운 대비 학습 네트워크(ContrastNet)를 조합한 비지도 초분광 분류 방법을 제안한다. 특징 추출과 대비 학습을 분리함으로써, 이전 방법들에 비해 계산 자원 소모가 줄어들고 추론 속도가 빠르며, 인도 피네스 데이터셋에서 전체 정확도 99.46%라는 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

Unsupervised learning methods for feature extraction are becoming more and more popular. We combine the popular contrastive learning method (prototypical contrastive learning) and the classic representation learning method (autoencoder) to design an unsupervised feature learning network for hyperspectral classification. Experiments have proved that our two proposed autoencoder networks have good feature learning capabilities by themselves, and the contrastive learning network we designed can better combine the features of the two to learn more representative features. As a result, our method surpasses other comparison methods in the hyperspectral classification experiments, including some supervised methods. Moreover, our method maintains a fast feature extraction speed than baseline methods. In addition, our method reduces the requirements for huge computing resources, separates feature extraction and contrastive learning, and allows more researchers to conduct research and experiments on unsupervised contrastive learning.

연구 동기 및 목표

• 초분광 분류에서 지도 학습 기반 딥러닝의 데이터 부족성과 높은 계산 비용 문제를 해결하기 위해.
• 오토인코더 기반 복원과 대비 학습을 융합하여 비지도 환경에서 특징 표현을 향상시키기 위해.
• 대비 학습의 계산 부담을 줄이면서도 높은 분류 성능을 유지하기 위해.
• 더 넓은 연구 분야에서의 채택에 적합한 효율적이고 확장 가능한 비지도 특징 학습을 가능하게 하기 위해.

제안 방법

• 입력 스펙트럼과 공간적 특징을 재구성하는 데 중점을 두고, 비지도 특징 추출을 위한 두 가지 오토인코더 변종(VAE 및 AAE)을 제안한다.
• 동일 샘플의 증강된 시각(양의 쌍)과 다른 샘플(음의 쌍)을 대조하여 특징 학습을 향상시키는 ContrastNet을 설계한다.
• 단일 입력에서 양의 쌍을 생성하기 위해 데이터 증강을 활용하여, 레이블 없이 자기지도 대비 학습을 가능하게 한다.
• 오토인코더와 ContrastNet의 학습을 분리함으로써, 추론 시에는 인코더만을 사용하여 효율적인 특징 추출을 가능하게 한다.
• 임bedding 공간에서 클래스 간 간격을 최대화하고 클래스 내 응집도를 높이기 위해 원형 대비 손실을 적용한다.
• 오토인코더 인코더에서 1차원 및 2차원 합성곱을 적용하여 스펙트럼 및 공간 특징 학습을 통합한다.

실험 결과

연구 질문

• RQ1 오토인코더 기반 표현 학습과 대비 학습을 융합함으로써, 이전 방법들을 뛰어넘는 비지도 초분광 분류 성능 향상을 달성할 수 있는가?
• RQ2 단독으로 사용된 오토인코더(VAE, AAE)에 비해 제안된 ContrastNet의 특징 분류 능력과 분류 정확도는 어떠한가?
• RQ3 오토인코더와 대비 네트워크의 분리된 학습 방식이 성능을 유지하면서도 계산 비용을 줄이는가?
• RQ4 불균형 데이터셋 조건에서, 이 방법은 지도 및 비지도 기반 기준 모델에 비해 어떻게 성능을 발휘하는가?

주요 결과

• ContrastNet은 인도 피네스 데이터셋에서 전체 정확도 99.46%를 달성하여, 비교된 모든 지도 및 비지도 방법을 능가했다.
• 인도 피네스에서 평균 정확도(AA) 98.83%를 기록하여, 일부 지도 모델조차도 뛰어넘었다.
• t-SNE를 통한 특징 시각화 결과, ContrastNet은 더 응집된 클래스 내 군집과 더 큰 클래스 간 간격을 생성하는 것으로 확인되었다.
• ContrastNet의 추론 속도는 학습 시간보다 뚜렷이 빠르며, 인도 피네스에서 특징 추출에 단 12.77초가 소요되어 3DCAE 및 EPLS보다 빠르게 작동했다.
• 공동 학습으로 인해 학습 시간이 다소 길었음에도 불구하고, 특징 추출과 대비 학습을 분리함으로써 고성능 컴퓨팅 자원의 필요성을 줄였다.
• 불균형 데이터셋에서 ContrastNet은 AAE 및 VAE보다 더 높은 전체 정확도를 유지했지만, 평균 정확도는 略로 약간 낮아, 클래스 불균형에 대한 강건성을 보였다.