[논문 리뷰] HyperKAN: Kolmogorov-Arnold Networks make Hyperspectral Image Classificators Smarter

Valeriy Lobanov, Nikita Firsov외 3명|arXiv (Cornell University)|2024. 07. 07.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 고분광 영상 분류에서 기존의 다층 퍼셉트론(MLP)과 합성곱 레이어를 콜모고로프-아르놀드 네트워크(KANs)로 대체하는 새로운 신경망 프레임워크인 HyperKAN을 제안한다. KAN의 학습 가능한 활성화 함수를 활용하여, 일곱 가지 다양한 아키텍처와 일곱 가지 공개 데이터셋에서 정확도 향상이 두드러지게 이루어졌으며, 특히 스펙트럼 전용 1D 및 트랜스포머 기반 모델에서 가장 높은 향상률을 기록하였다.

ABSTRACT

In traditional neural network architectures, a multilayer perceptron (MLP) is typically employed as a classification block following the feature extraction stage. However, the Kolmogorov-Arnold Network (KAN) presents a promising alternative to MLP, offering the potential to enhance prediction accuracy. In this paper, we propose the replacement of linear and convolutional layers of traditional networks with KAN-based counterparts. These modifications allowed us to significantly increase the per-pixel classification accuracy for hyperspectral remote-sensing images. We modified seven different neural network architectures for hyperspectral image classification and observed a substantial improvement in the classification accuracy across all the networks. The architectures considered in the paper include baseline MLP, state-of-the-art 1D (1DCNN) and 3D convolutional (two different 3DCNN, NM3DCNN), and transformer (SSFTT) architectures, as well as newly proposed M1DCNN. The greatest effect was achieved for convolutional networks working exclusively on spectral data, and the best classification quality was achieved using a KAN-based transformer architecture. All the experiments were conducted using seven openly available hyperspectral datasets. Our code is available at https://github.com/f-neumann77/HyperKAN.

연구 동기 및 목표

• 표준 MLP를 콜모고로프-아르놀드 네트워크(KANs)로 대체하여 고분광 영상 모델의 분류 정확도를 향상시키는 것.
• 1D/3D CNN, 트랜스포머, MLP를 포함한 다양한 신경망 설계에서 KAN 기반 아키텍처의 효과성을 평가하는 것.
• 특히 스펙트럼 전용 처리 환경에서 KANs가 특징 표현과 일반화 능력을 향상시킨다는 것을 입증하는 것.
• KAN 기반 구성 요소를 사용하여 고분광 영상 분류 분야의 새로운 최상위 기준을 설정하는 것.

제안 방법

• 기존 고분광 네트워크의 완전 연결 및 합성곱 레이어를, 고정된 비선형성 대신 학습 가능한 스퍼인 기반 활성화 함수를 사용하는 KAN 레이어로 대체한다.
• 스펙트럼 및 공간 특징을 1D, 3D 및 자기주의 주의 메커니즘에서 작동하도록 KAN을 적응시켜 탄력적인 비선형 매핑을 가능하게 한다.
• 일곱 가지 공개 고분광 데이터셋에서 수정된 아키텍처를 엔드 투 엔드로 훈련시켜 일반화 능력과 강건성을 평가한다.
• 기본 MLP, 1DCNN, 두 가지 3DCNN 변종(포함하여 NM3DCNN), 트랜스포머(SSFTT), 그리고 신규로 제안된 M1DCNN를 포함한 다양한 아키텍처에 KAN을 통합한다.
• 표준 백프로파게이션과 적응형 학습률을 사용하여 KAN을 최적화함으로써 계산 효율성을 유지한다.
• 모든 데이터셋에서 표준 지표인 전체 정확도(OA), 평균 정확도(AA), 카파 계수를 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 KAN 기반 아키텍처는 고분광 영상 분류 작업에서 표준 MLP보다 뛰어난 성능을 낼 수 있는가?
• RQ2 KAN의 통합은 스펙트럼 데이터에서 1D 및 3D 합성곱 네트워크의 성능에 어떤 영향을 미치는가?
• RQ3 MLP를 KAN으로 대체함으로써 다양한 고분광 데이터셋과 아키텍처 간의 일반화 능력 향상이 이루어지는가?
• RQ4 기존 피드포워드 네트워크 대비 트랜스포머 기반 모델에서 KAN의 상대적 성능 향상은 어느 정도인가?
• RQ5 특성 설계를 재수정하지 않고도 KAN은 여러 가지 네트워크 설계에서 일관되게 분류 정확도를 향상시킬 수 있는가?

주요 결과

• KAN 기반 트랜스포머 아키텍처(SSFTT)는 평가된 모든 모델 중에서 가장 높은 분류 정확도를 기록하여 우수한 특징 표현과 일반화 능력을 입증하였다.
• 스펙트럼 전용 1D CNN는 KAN으로 대체될 때 가장 뚜렷한 정확도 향상을 보였으며, 순수한 스펙트럼 학습 환경에서의 강력한 이점이 있음을 시사하였다.
• MLP, 1DCNN, 3DCNN, 트랜스포머를 포함한 일곱 가지 수정된 아키텍처 모두가 전체 정확도(OA), 평균 정확도(AA), 카파 계수에서 일관되고 측정 가능한 향상을 달성하였다.
• 최고 성능을 보인 모델은 파비아 대학 데이터셋에서 원래의 MLP 기반 대비 2.1%p의 절대 정확도 향상을 기록하였다.
• KAN은 일곱 가지 공개 고분광 데이터셋 전반에서 일관되게 성능 향상을 보였으며, 이는 그들의 강건성과 이식 가능성(트랜스퍼러빌리티)을 확인시켰다.
• 제거 분석 결과, 성능 향상의 주요 원인은 아키텍처 변경이 아닌 KAN 내 학습 가능한 활성화 함수에 기인한 것으로 확인되었다.