[논문 리뷰] Hebbian-Oscillatory Co-Learning
Hebbian-Oscillatory Co-Learning (HOC-L), a two-timescale framework that jointly learns sparse connectivity and phase synchronization using synchronization-gated Hebbian plasticity, with convergence guarantees and reduced complexity.
We introduce Hebbian-Oscillatory Co-Learning (HOC-L), a unified two-timescale dynamical framework for joint structural plasticity and phase synchronization in bio-inspired sparse neural architectures. HOC-L couples two recent frameworks: the hyperbolic sparse geometry of Resonant Sparse Geometry Networks (RSGN), which employs Poincaré ball embeddings with Hebbian-driven dynamic sparsity, and the oscillator-based attention of Selective Synchronization Attention (SSA), which replaces dot-product attention with Kuramoto-type phase-locking dynamics. The key mechanism is synchronization-gated plasticity: the macroscopic order parameter $r(t)$ of the oscillator ensemble gates Hebbian structural updates, so that connectivity consolidation occurs only when sufficient phase coherence signals a meaningful computational pattern. We prove convergence of the joint system to a stable equilibrium via a composite Lyapunov function and derive explicit timescale separation bounds. The resulting architecture achieves $O(n \cdot k)$ complexity with $k \ll n$, preserving the sparsity of both parent frameworks. Numerical simulations confirm the theoretical predictions, demonstrating emergent cluster-aligned connectivity and monotonic Lyapunov decrease.
연구 동기 및 목표
- 생물 영감을 받은 희소 네트워크에서 구조적 가소성과 위상 동기화를 결합한다.
- Hyperbolic 희소 기하학(RSGN)과 발진기 기반 주의(SSA)를 활용하여 효율적이고 희소한 학습을 가능하게 한다.
- Lyapunov 함수로 결합 시스템의 수렴을 확립하고 타임스케일 분리 경계값을 도출한다.
- 아키텍처가 희소성을 유지하면서 확장 가능한 계산과 의미 있는 연결 패턴을 달성함을 보인다.
제안 방법
- 두 프레임워크를 결합한다: Poincaré 볼 임베딩을 갖는 공진 희소 기하학 네트워크와 Hebbian 주도 동적 희소성.
- dot-product 주의 대신 Kuramoto형 위상 고정화 역학을 통해 선택적 동기 주의(Synchronization Attention)를 구현한다.
- macroscopic 차원 순서 매개변수 r(t)가 Hebbian 구조 업데이트를 게이트하는 동기화 게이트형 가소성(synchronization-gated plasticity)을 도입한다.
- 복합 Lyapunov 함수로 안정된 평형으로의 수렴을 증명하고 명시적 타임스케일 분리 경계값을 도출한다.
- k << n 인 경우 O(n · k) 계산 복잡도를 달성하며 희소성을 보존한다.
실험 결과
연구 질문
- RQ1동기화 게이트된 Hebbian 가소성이 희소 네트워크에서 구조적 업데이트와 위상 동기화를 함께 안정화시킬 수 있는가?
- RQ2통합이 수렴 특성과 계산 복잡도에 어떤 영향을 미치는가?
- RQ3클러스터링이 네트워크 역학과 정렬될 때 나타나는 연결 패턴은 무엇인가?
- RQ4이론적 보장(Lyapunov 안정성, 시간 규모 분리)이 수치 시뮬레이션에서도 성립하는가?
주요 결과
- 복합 Lyapunov 함수 하에서 결합 시스템이 안정적 균형으로 수렴한다.
- 두 시차 다이나믹스에 대한 명시적 타임스케일 분리 경계가 도출된다.
- 수치 시뮬레이션이 군집 정렬된 연결성을 확인한다.
- 아키텍처는 k ≪ n인 경우 O(n · k) 복잡도로 희소성을 유지한다.
- 시뮬레이션은 단조로운 Lyapunov 감소와 연결성이 클러스터 구조와 정렬됨을 보인다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.