[논문 리뷰] KAN: Kolmogorov-Arnold Networks

Ziming Liu, Yixuan Wang외 6명|arXiv (Cornell University)|2024. 04. 30.

Computability, Logic, AI Algorithms인용 수 481

한 줄 요약

KAN은 전통적인 신경 가중치를 학습 가능한 간선 활성화(스플라인)로 대체하여 더 작고 더 정확하며 해석 가능성이 향상된 네트워크를 가능하게 하며, 데이터 적합 및 PDE 해결 시에 인터랙티브한 심볼릭 통찰력을 갖춘 것으로 입증됩니다.

ABSTRACT

Inspired by the Kolmogorov-Arnold representation theorem, we propose Kolmogorov-Arnold Networks (KANs) as promising alternatives to Multi-Layer Perceptrons (MLPs). While MLPs have fixed activation functions on nodes ("neurons"), KANs have learnable activation functions on edges ("weights"). KANs have no linear weights at all -- every weight parameter is replaced by a univariate function parametrized as a spline. We show that this seemingly simple change makes KANs outperform MLPs in terms of accuracy and interpretability. For accuracy, much smaller KANs can achieve comparable or better accuracy than much larger MLPs in data fitting and PDE solving. Theoretically and empirically, KANs possess faster neural scaling laws than MLPs. For interpretability, KANs can be intuitively visualized and can easily interact with human users. Through two examples in mathematics and physics, KANs are shown to be useful collaborators helping scientists (re)discover mathematical and physical laws. In summary, KANs are promising alternatives for MLPs, opening opportunities for further improving today's deep learning models which rely heavily on MLPs.

연구 동기 및 목표

• 엣지의 활성화 함수를 스플라인으로 학습하여 Kolmogorov-Arnold 네트워크(KANs)를 MLP의 대안으로 도입한다.
• 데이터 적합 및 PDE 풀이에서 우수한 정확도와 매개변수 효율성을 입증하고 신경 규모 법칙을 확립한다.
• 정확도와 해석 가능성을 향상시키기 위한 그리드 확장 및 단순화 기법을 개발한다.
• 해석 가능성 도구(시각화, 가지치기, 심볼화)와 과학(수학/물리학)에서의 협업 사용을 선보인다.

제안 방법

• 일변량 함수와 합으로 Kolmogorov-Arnold 형태로 f를 표현하고, 활성화가 엣지 함수인 KAN 계층으로 구현한다.
• 1D 함수를 B-스플라인으로 매개화하고, 계층 간 함수 활성화의 행렬(Φ_l)을 구현하여 가중치 행렬을 대체한다.
• 잔차 활성화 설계와 신중한 초기화를 사용하고, 활성화 규모에 맞게 학습 중 스플라인 격자를 업데이트한다.
• 깊이와 너비를 확장하여 더 깊은 KAN을 형성하고, 격자 크기 기반의 오차 감소를 보여주는 이론적 근사 상한(정리 2.1)을 제공한다.
• 처음부터 재학습 없이 정확도를 향상시키기 위한 그리드 확장을 도입; 2) 해석 가능성을 위한 희소화/엔트로피 정규화 및 가지치기; 3) 인터랙티브한 심볼릭 발견을 위한 심볼화 인터페이스.
• 시각화 도구와 심볼릭 회귀에 영감을 받은 인사이트를 위한 인터랙티브 워크플로우를 갖춘 해석 가능한 프레임워크를 제공한다.

Figure 0.1: Multi-Layer Perceptrons (MLPs) vs. Kolmogorov-Arnold Networks (KANs)

실험 결과

연구 질문

• RQ1 대표 작업(데이터 적합 및 PDE 해결)에서 KAN이 MLP보다 적은 매개변수로 더 높은 정확도를 달성할 수 있는가?
• RQ2 매끄러운 Kolmogorov-Arnold 표현 하에서 KAN이 우수한 신경 규모 법칙을 보이는가?
• RQ3 그리드 확장 및 희소화가 과도한 재학습 없이 KAN의 정확도와 해석 가능성을 어떻게 향상시킬 수 있는가?
• RQ4 시각화, 가지치기 및 심볼릭 상호작용을 통해 KAN을 과학적 발견의 협업 도구로 어떻게 활용할 수 있는가?

주요 결과

• 2-layer, width-10 KAN은 PDE 해결에서 4-layer, width-100 MLP보다 현저히 높은 정확도를 달성합니다 (MSE 10^-7 대 10^-5) 매개변수는 100배 적은 100대비 10^4.
• KAN은 더 빠른 신경 규모 법칙을 보이며, 유효 지수 α가 최대 4까지, (k=3일 때 3차 스플라인의 경우 k+1), 실증 결과가 이 한계에 접근한다.
• 그리드 확장을 통해 스플라인 격자를 세밀화하여 정확도를 체계적으로 개선할 수 있으며, 학습 시간 고려사항 및 보간 임계값 동작에 대해 논의한다.
• 희소화(L1 유사 노름과 엔트로피 정규화), 노드 중요도에 따른 가지치기, 심볼화 등 단순화 기법은 해석 가능한 네트워크를 만들고 exp(sin(pi x)+y^2)와 같은 예에서 인터랙티브한 심볼릭 발견을 가능하게 한다.
• 이론적 근사 상한(정리 2.1)은 유한한 격자를 가진 매끄러운 KAN 표현이 매끄러운 함수를 근사할 수 있으며 오차가 CG^{-k-1+m}로 감소함을 보여주며, 적절한 표현에서 차원의 저주를 뛰어넘을 가능성을 시사한다.
• KAN은 외부 자유도와 내부 자유도를 강조하며, 구성적 학습(외부)과 학습 가능한 일변수 함수(내부)를 결합하여 구조와 정확성을 모두 달성한다.

Figure 2.1: Our proposed Kolmogorov-Arnold networks are in honor of two great late mathematicians, Andrey Kolmogorov and Vladimir Arnold. KANs are mathematically sound, accurate and interpretable.