[論文レビュー] Unveiling the Power of Wavelets: A Wavelet-based Kolmogorov-Arnold Network for Hyperspectral Image Classification

Seyd Teymoor Seydi, Bozorgasl, Zavareh+1 more|arXiv (Cornell University)|Jun 12, 2024

Neural Networks and Applications被引用数 8

ひとこと要約

本論文はウェーブレットベースの Kolmogorov-Arnold ネットワークである Wav-KAN を提案し、Salinas および Indian Pines データセットで Spline-KAN および MLP を上回る性能を示し、Pavia でも高い結果を示します。

ABSTRACT

Hyperspectral image classification is a crucial but challenging task due to the high dimensionality and complex spatial-spectral correlations inherent in hyperspectral data. This paper employs Wavelet-based Kolmogorov-Arnold Network (wav-kan) architecture tailored for efficient modeling of these intricate dependencies. Inspired by the Kolmogorov-Arnold representation theorem, Wav-KAN incorporates wavelet functions as learnable activation functions, enabling non-linear mapping of the input spectral signatures. The wavelet-based activation allows Wav-KAN to effectively capture multi-scale spatial and spectral patterns through dilations and translations. Experimental evaluation on three benchmark hyperspectral datasets (Salinas, Pavia, Indian Pines) demonstrates the superior performance of Wav-KAN compared to traditional multilayer perceptrons (MLPs) and the recently proposed Spline-based KAN (Spline-KAN) model. In this work we are: (1) conducting more experiments on additional hyperspectral datasets (Pavia University, WHU-Hi, and Urban Hyperspectral Image) to further validate the generalizability of Wav-KAN; (2) developing a multiresolution Wav-KAN architecture to capture scale-invariant features; (3) analyzing the effect of dimensional reduction techniques on classification performance; (4) exploring optimization methods for tuning the hyperparameters of KAN models; and (5) comparing Wav-KAN with other state-of-the-art models in hyperspectral image classification.

研究の動機と目的

• 高次元性と空間-スペクトル相関に起因する高次元データのハイパースペクトル分類の課題を動機づけ、解決する。
• learnable wavelet activations を備えた wavelet-integrated Kolmogorov-Arnold network を提案する。
• ベンチマークデータセット全体で Wav-KAN を Spline-KAN および MLP と比較する。
• ウェーブレットベースのアプローチの解釈性、効率性、パラメータ効率を分析する。
• 一般化可能性を検証しアーキテクチャを拡張する将来の課題を概説する。

提案手法

• Kolmogorov-Arnold Network (KAN) フレームワーク内で学習可能な活性化関数としてウェーブレット関数を組み込み、マルチスケールモデリングを実現する。
• 連続/離散ウェーブレット変換を活用してマルチスケールの空間-スペクトルパターンを捉える。
• ウェーブレットベースの活性化を利用して、Spline ベースや MLP ベースのベースラインよりもパラメータを抑えつつ非線形マッピングを実現する。
• ウェーブレットのスケーリング特性とグリッドベース関数の必要性を減らすことによる計算効率と堅牢性を示す。
• Salinas、Pavia、Indian Pines の3つのベンチマークデータセットで Spline-KAN および MLP との比較評価を提供する。

Figure 1: Incorporate hyperspectral dataset in this study

実験結果

リサーチクエスチョン

• RQ1 Wav-KAN は標準的なハイパースペクトルデータセットにおいて Spline-KAN および MLP とどのように性能が異なるか。
• RQ2 ウェーブレットベースの活性化はハイパースペクトルデータのマルチスケール空間-スペクトル依存をより良く捉えられるか。
• RQ3 ウェーブレット設計が精度、堅牢性、学習効率に与える影響はどれか。
• RQ4 Wav-KAN は異なるハイパースペクトルシーン（Indian Pines、Salinas、Pavia）に対してどの程度一般化するか。

主な発見

Dataset	Model	Overall Accuracy	Kappa
Salinas	Spline-KAN	0.9261	0.9178
Salinas	Wav-KAN	0.9341	0.9264
Salinas	MLP	0.8655	0.8499
Pavia	Spline-KAN	0.9863	0.9806
Pavia	Wav-KAN	0.9901	0.9860
Pavia	MLP	0.9910	0.9873
Indian Pine	Spline-KAN	0.7731	0.7395
Indian Pine	Wav-KAN	0.8554	0.8348
Indian Pine	MLP	0.3513	0.2984

• Wav-KAN はデータセット全体で平均 OA が 92.62%、Kappa が 0.9157 を達成し、Spline-KAN（OA 89.85%、0.8793）および MLP（OA 77.69%、0.7119）を上回る。
• Salinas では Wav-KAN が OA 0.9341、Kappa 0.9264 を達成し、Spline-KAN（0.9261、0.9178）および MLP（0.8655、0.8499）を上回る。
• Pavia では MLP がわずかに他を上回る（OA 0.9910、Kappa 0.9873）一方、Wav-KAN も高い競争力を維持（OA 0.9901、Kappa 0.9860）、Spline-KAN が続く（0.9863、0.9806）。
• Indian Pines では Wav-KAN が他を著しく上回る（OA 0.8554、Kappa 0.8348 対 Spline-KAN 0.7731/0.7395 及び MLP 0.3513/0.2984）。
• 結果は、ウェーブレットベースのアプローチがより少ないパラメータで複雑なスペクトル空間依存関係をモデル化し、ベースラインと比べて堅牢性が向上することを示す。
• Spline-KAN も Salinas で強力なパフォーマンスを示し、ハイパースペクトル分類における理論に基づくカーネルの価値を強調する。

Figure 2: Result of hyperspectral classification for Salinas dataset. (a) MLP, (b) Spline-KAN, (c) Wav-KAN, (d) Ground Truth