[논문 리뷰] Suitability of KANs for Computer Vision: A preliminary investigation

Basim Azam, Naveed Akhtar|arXiv (Cornell University)|2024. 06. 13.

Advanced Image and Video Retrieval Techniques인용 수 6

한 줄 요약

본 논문은 MNIST와 CIFAR-10에서 Kolmogorov-Arnold Networks(KANs)와 ConvKANs를 이미지 인식에 대해 실험적으로 평가하고, 작업이 더 복잡해질수록 기존 모델에 비해 명확한 우월성은 없다는 것을 확인했다.

ABSTRACT

Kolmogorov-Arnold Networks (KANs) introduce a paradigm of neural modeling that implements learnable functions on the edges of the networks, diverging from the traditional node-centric activations in neural networks. This work assesses the applicability and efficacy of KANs in visual modeling, focusing on fundamental recognition and segmentation tasks. We mainly analyze the performance and efficiency of different network architectures built using KAN concepts along with conventional building blocks of convolutional and linear layers, enabling a comparative analysis with the conventional models. Our findings are aimed at contributing to understanding the potential of KANs in computer vision, highlighting both their strengths and areas for further research. Our evaluation point toward the fact that while KAN-based architectures perform in line with the original claims, it may often be important to employ more complex functions on the network edges to retain the performance advantage of KANs on more complex visual data.

연구 동기 및 목표

• 이미지 인식에 대한 KAN의 정확도, 학습 효율성 및 매개변수 효율성을 평가한다.
• 전통적인 CNN/MLP 기준선과 대조하여 KAN 개념의 CNN 블록 통합을 평가한다.
• 시각 작업에 대한 KAN 기반 아키텍처의 강점과 한계를 파악한다.

제안 방법

• 학습 가능한 에지 함수(스플라인)를 갖는 KAN 및 ConvKAN 아키텍처를 형식화한다.
• KAN을 ConvKAN 및 KConvKAN 변형으로 확장한다.
• MNIST 및 CIFAR-10에 대해 기존 ConvKAN/torch-conv-kan 구현을 재현한다.
• AdamW, 교차 엔트로피 손실, 지수 학습률 스케줄링을 사용하여 모델을 학습하고 평가한다.
• 정확도와 매개변수 수를 기준으로 SimpleMLP 및 표준 ConvNet 기준선과 비교한다.

Figure 1: Categorization of the types of network architectures used in this work. We employ KAN-based building blocks with conventional layers to construct different types of networks. The same naming conventions are used throughout this work.

실험 결과

연구 질문

• RQ1 이미지 인식에서 KAN은 정확도, 학습 효율성, 모델 매개변수 측면에서 어떻게 성능를 보이나?
• RQ2 KAN을 CNN 프레임워크에 효과적으로 통합하여 성능이나 효율성을 향상시킬 수 있는가?
• RQ3 더 복잡한 시각 작업으로 확장할 때 KAN이 직면하는 제한이나 도전은 무엇인가?

주요 결과

• KAN 기반 아키텍처는 MNIST에서 강한 성능을 달성하며, 일부 구성은 유사 크기의 기존 모델에 근접하거나 이를 대등하게 만든다.
• CIFAR-10에서 KAN의 성능은 일반적으로 더 큰 기존 ConvNet보다 뒤처지지만, 일부 KAN 변종(예: 더 깊은 KConvKAN 및 WavKAN)은 경쟁력 있는 정확도에 도달한다.
• 모델 복잡도를 높이면 KAN의 정확도가 향상되는 경향이 있지만 더 긴 학습 시간과 스플라인 매개변수의 조정이 필요하다.
• WavKAN 및 더 깊은 KConvKAN 변형은 높은 MNIST 정확도(최대 99.6%)와 CIFAR-10 정확도(최대 78.8%)에 도달할 수 있지만 학습 시간이 상당히 길다.

Figure 2: A high-level comparison of basic network configurations using Multi-Layer Perceptrons (MLP), Kolmogorov-Arnold Networks (KAN), and Wavelet KAN. KAN-based models use learnable functions on edges instead of applying fixed activation functions on nodes/neurons. Traditional KAN and WavKAN main