[논문 리뷰] Unveiling the Power of Wavelets: A Wavelet-based Kolmogorov-Arnold Network for Hyperspectral Image Classification

Seyd Teymoor Seydi, Bozorgasl, Zavareh외 1명|arXiv (Cornell University)|2024. 06. 12.

Neural Networks and Applications인용 수 8

한 줄 요약

이 논문은 파형 기반 Kolmogorov-Arnold 네트워크(Wav-KAN)를 제시하고, hyperspectral 이미지 분류를 위해 Spline-KAN 및 MLP보다 Salinas와 Indian Pines 데이터셋에서 우수하고 Pavia에서도 강한 결과를 보인다.

ABSTRACT

Hyperspectral image classification is a crucial but challenging task due to the high dimensionality and complex spatial-spectral correlations inherent in hyperspectral data. This paper employs Wavelet-based Kolmogorov-Arnold Network (wav-kan) architecture tailored for efficient modeling of these intricate dependencies. Inspired by the Kolmogorov-Arnold representation theorem, Wav-KAN incorporates wavelet functions as learnable activation functions, enabling non-linear mapping of the input spectral signatures. The wavelet-based activation allows Wav-KAN to effectively capture multi-scale spatial and spectral patterns through dilations and translations. Experimental evaluation on three benchmark hyperspectral datasets (Salinas, Pavia, Indian Pines) demonstrates the superior performance of Wav-KAN compared to traditional multilayer perceptrons (MLPs) and the recently proposed Spline-based KAN (Spline-KAN) model. In this work we are: (1) conducting more experiments on additional hyperspectral datasets (Pavia University, WHU-Hi, and Urban Hyperspectral Image) to further validate the generalizability of Wav-KAN; (2) developing a multiresolution Wav-KAN architecture to capture scale-invariant features; (3) analyzing the effect of dimensional reduction techniques on classification performance; (4) exploring optimization methods for tuning the hyperparameters of KAN models; and (5) comparing Wav-KAN with other state-of-the-art models in hyperspectral image classification.

연구 동기 및 목표

• 고차원성과 공간-스펙트럴 상관관계로 인한 하이퍼스펙트럴 분류의 도전에 동기를 부여하고 이를 해결하기.
• 학습 가능한 웨이브렛 활성화를 갖는 웨이블렛이 통합된 Kolmogorov-Arnold 네트워크(KAN)를 제안한다.
• 벤치마크 데이터셋에서 Wav-KAN을 Spline-KAN 및 MLP와 비교한다.
• 웨이블렛 기반 접근법의 해석가능성, 효율성, 매개변수 효율성을 분석한다.
• 일반화 가능성을 검증하고 아키텍처를 확장하기 위한 향후 작업을 개략한다.

제안 방법

• 다중 스케일 모델링을 가능하게 하기 위해 웨이블렛 함수를 Kolmogorov-Arnold 네트워크(KAN) 프레임워크 내의 학습 가능한 활성화 함수로 포함시킨다.
• 연속/이산 웨이블렛 변환을 활용하여 다중 스케일의 공간-스펙트럴 패턴을 포착한다.
• 웨이블렛 기반 활성화를 활용하여 스플라인 기반 또는 MLP 기준선 대비 더 적은 매개변수로 비선형 매핑을 달성한다.
• 웨이블렛 스케일링 특성과 그리드 기반 함수의 필요성 감소로 계산 효율성과 강인성을 입증한다.
• 세 가지 벤치마크 하이퍼스펙트럴 데이터셋에서 Spline-KAN 및 MLP와의 비교 평가를 제공한다.

Figure 1: Incorporate hyperspectral dataset in this study

실험 결과

연구 질문

• RQ1 표준 하이퍼스펙트럴 데이터셋에서 Wav-KAN은 Spline-KAN 및 MLP에 비해 어떤 성능을 보이는가?
• RQ2 웨이블렛 기반 활성화가 하이퍼스펙트럴 데이터의 다중 스케일 공간-스펙트럴 의존성을 더 잘 포착할 수 있는가?
• RQ3 웨이블렛 설계가 정확도, 강인성 및 학습 효율성에 미치는 영향은 무엇인가?
• RQ4 Wav-KAN은 서로 다른 하이퍼스펙트럴 장면들(Indian Pines, Salinas, Pavia)에서 일반화되는가?

주요 결과

• Wav-KAN은 데이터 세트 전반에서 평균 OA 92.62% 및 Kappa 0.9157를 달성하며 Spline-KAN( OA 89.85%, 0.8793) 및 MLP( OA 77.69%, 0.7119)보다 우수하다.
• Salinas에서 Wav-KAN은 OA 0.9341 및 Kappa 0.9264를 달성하여 Spline-KAN(0.9261, 0.9178) 및 MLP(0.8655, 0.8499)를 능가한다.
• Pavia에서 MLP가 약간 우수하지만(Wav-KAN보다), (OA 0.9910, Kappa 0.9873)로 Wav-KAN도 매우 경쟁력 있다(OA 0.9901, Kappa 0.9860)이며 Spline-KAN은 뒤를 잇는다(0.9863, 0.9806).
• Indian Pines에서 Wav-KAN은 다른 방법들을 크게 능가한다( OA 0.8554, Kappa 0.8348 대 Spline-KAN 0.7731/0.7395 및 MLP 0.3513/0.2984).
• 결과는 Wav-KAN이 기저 방법들에 비해 더 적은 매개변수로 복합적 스펙트럼-공간 의존성을 모델링하고 강인성이 향상됨을 시사한다.
• Spline-KAN도 Salinas에서 강력한 성능을 보이며, 하이퍼스펙트럴 분류에서 이론 기반 커널의 가치를 강조한다.

Figure 2: Result of hyperspectral classification for Salinas dataset. (a) MLP, (b) Spline-KAN, (c) Wav-KAN, (d) Ground Truth