[논문 리뷰] Pulse-Driven Neural Architecture: Learnable Oscillatory Dynamics for Robust Continuous-Time Sequence Processing

Paras Sharma|arXiv (Cornell University)|2026. 02. 25.

Neural Networks and Reservoir Computing인용 수 0

한 줄 요약

PDNA는 학습 가능한 진동 펄스와 자기 주의를 통해 Closed-form Continuous-time 네트워크를 보강하여 연속 시간 시퀀스 처리에서 시간 간격의 공백에 대한 강인성을 향상시키며, sMNIST에서 다-gap에서 유의미한 이득으로 시연되었습니다.

ABSTRACT

We introduce PDNA (Pulse-Driven Neural Architecture), a method for augmenting continuous-time recurrent networks with learnable oscillatory dynamics that maintain internal state evolution independently of external input. Built on Closed-form Continuous-time (CfC) networks, PDNA adds two components: (1) a pulse module that generates structured oscillations $A \cdot \sin(ωt + φ(h))$ with learnable frequencies and state-dependent phase, and (2) a self-attend module that applies recurrent self-attention to the hidden state. Through a controlled ablation study on sequential MNIST (sMNIST) with five random seeds, we evaluate gap robustness -- the ability to maintain performance when portions of the input sequence are removed at test time. Our key finding is that structured oscillatory dynamics significantly improve robustness to input interruptions: the self-attend variant achieves a statistically significant 2.78 percentage point multi-gap advantage over baseline ($p = 0.041$), while the pulse variant shows a 4.62 pp advantage with large effect size (Cohen's $d = 0.87$). A noise control (random perturbation of equal magnitude) provides no benefit, confirming that the advantage is structural rather than merely dynamic. These results provide evidence that continuous-time models can benefit from biologically-inspired internal oscillatory mechanisms for temporal robustness.

연구 동기 및 목표

• 연속 시간 시퀀스 모델에서 누락되거나 중단된 입력에 대한 강인성의 동기를 부여한다.
• 생물학적으로 영감을 받은 증강인 PDNA를 도입하여 CfC 네트워크에 구조화된 진동과 자기 주의를 추가한다.
• sMNIST에서 새로운 gap 평가 프로토콜을 사용하여 간격 robustness를 체계적으로 평가한다.
• 무작위 잡음 이상으로 진동의 구조적 이점을 보여주는 제거 연구(ablation) 증거를 제공한다.

제안 방법

• BaseCfC 백본은 닫힌 형태의 연속 시간 다이나믹스를 제공한다.
• 펄스 모듈은 학습 가능한 각 차원 A 및 ω와 상태 의존 위상 φ(h)를 갖는 구조화된 진동 A·sin(ω t + φ(h))를 추가한다.
• Self-attend 모듈은 학습된 게이트 β를 가진 W_self·σ(h)에 의한 순환적 자기 주의를 적용한다.
• PDNA는 펄스와 SelfAttend를 CfC 상태에 더해진 잔여항(additive residuals)으로 결합하여 엔드-투-엔드로 학습한다.
• 구성 요소의 기여도를 평가하기 위해 제거 실험 버전을 고립시킨다.
• 테스트 시 입력의 0–30%가 제거되는 경우의 성능을 테스트하는 gap 평가 프로토콜을 포함하여 다-gap 구성을 포함한다.

Figure 2 : Accuracy under increasing gap severity on sMNIST (5 seeds, mean $\pm$ std bands). Pulse-augmented variants (C, E) degrade more gracefully than baseline, particularly on the multi-gap condition where scattered interruptions test recovery ability.

실험 결과

연구 질문

• RQ1 구조화된 진동 역학을 도입하면 연속 시간 시퀀스 모델의 입력 간격에 대한 시간적 강인성이 향상되는가?
• RQ2 펄스 모듈과 Self-attend 모듈은 간격 로버스트니스에 각각 또는 공동으로 어떤 기여를 하는가?
• RQ3 관찰된 강인성이 무작위 잡음이 아니라 구조화된 진동 때문인가?
• RQ4 펄스에서 학습되는 매개변수(주파수, 진폭, 위상)는 어떻게 학습되며 어떻게 동작하는가?
• RQ5 PDNA가 표준(비갭) 성능 및 계산/자원 오버헤드에 어떤 영향을 미치는가?

주요 결과

Variant	sMNIST (test accuracy %)	Gap 0%	Gap 5%	Gap 15%	Gap 30%	Multi-gap Accuracy	Degradation (%)
A. Baseline CfC	97.82 ±0.12	97.82	94.88	48.35	28.51	88.24	69.31 ± 5.02
B. CfC + Noise	97.78 ±0.20	97.78	94.60	49.56	29.78	88.01	68.00 ± 4.78
C. CfC + Pulse	97.96 ±0.14	97.96	95.82	48.27	29.58	92.86	68.38 ± 3.57
D. CfC + SelfAttend	97.89 ±0.21	97.89	95.49	52.24	28.46	91.02	69.43 ± 2.17
E. Full PDNA	97.93 ±0.16	97.93	95.28	49.43	29.71	91.96	68.21 ± 3.05

• 구조화된 진동 역학이 CfC 및 무작위 노이즈 컨트롤과 비교할 때 다-gap 로버스트니스를 유의하게 향상시킨다.
• 다-gap 평가에서 펄스 변형은 92.86% 정확도이며 베이스라인 88.24% 대비 증가(Δ=+4.62 pp, Cohen’s d≈0.87).
• Self-attend 변형은 다-gap에서 91.02% 정확도에 도달하며 베이스라인에 대해 통계적으로 유의미한 차이를 보인다(p=0.041, d≈1.33).
• 노이즈 섭동은 이점을 제공하지 않으며 간격 동안 0이 아닌 역학이 있지 않아도 이점이 구조적임을 뒷받침한다(gap-5%: +1.22 pp 대비 노이즈, p=0.013).
• 학습된 펄스 매개변수는 α가 0.01에서 약 0.66으로 증가하고 주파수는 두 자릿수 범위를 아우르는 것으로 나타나 진동 역학의 활성 활용을 시사한다(ω 평균≈2.17, 중위≈1.02).
• 전체 PDNA는 다-gap에서 91.96%의 정확도와 낮은 분산(~±1.54%)를 달성한다.
• 계산적 오버헤드는 미미하게 증가(≈38% 더 많은 매개변수, ≈5% 월 타임)한다.

(a) Learned frequency distribution $\omega$ .