[논문 리뷰] Sparsity in Continuous-Depth Neural Networks

Hananeh Aliee, Till Richter외 4명|arXiv (Cornell University)|2022. 10. 26.

Model Reduction and Neural Networks인용 수 5

한 줄 요약

이 논문은 Neural ODE 내부의 입력-출력 경로에서 희소성(스퍼스리티)를 강제하는 미분 가능 L0 기반 정규화 기법인 PathReg을 제안한다. 이는 기능적 희소성과 가중치 희소성 모두를 달성한다. 연구 결과 기능적 희소성—가중치 희소성과는 달리—일반화 성능을 향상시키며, 특히 실세계 운동 캡처 및 단세포 RNA-seq 데이터를 활용한 시스템 식별 작업에서 진정한 기저의 동역학 법칙을 정확하게 복원할 수 있음을 보여준다.

ABSTRACT

Neural Ordinary Differential Equations (NODEs) have proven successful in learning dynamical systems in terms of accurately recovering the observed trajectories. While different types of sparsity have been proposed to improve robustness, the generalization properties of NODEs for dynamical systems beyond the observed data are underexplored. We systematically study the influence of weight and feature sparsity on forecasting as well as on identifying the underlying dynamical laws. Besides assessing existing methods, we propose a regularization technique to sparsify "input-output connections" and extract relevant features during training. Moreover, we curate real-world datasets consisting of human motion capture and human hematopoiesis single-cell RNA-seq data to realistically analyze different levels of out-of-distribution (OOD) generalization in forecasting and dynamics identification respectively. Our extensive empirical evaluation on these challenging benchmarks suggests that weight sparsity improves generalization in the presence of noise or irregular sampling. However, it does not prevent learning spurious feature dependencies in the inferred dynamics, rendering them impractical for predictions under interventions, or for inferring the true underlying dynamics. Instead, feature sparsity can indeed help with recovering sparse ground-truth dynamics compared to unregularized NODEs.

연구 동기 및 목표

• 연속적 깊이 신경망에서 가중치와 기능적 희소성이 일반화에 미치는 영향을 조사하는 것, 특히 분포 외(out-of-distribution, OOD) 설정에서의 성능을 중심으로 한다.
• 기존에 거의 다뤄지지 않은 Neural ODE 내 희소성의 역할을, 분포 내 예측을 넘어서 시스템 식별에 응용하는 데 초점을 맞춘다.
• 입력-출력 경로의 희소성을 직접 타겟으로 삼는 새로운 정규화 기법을 개발하여 해석 가능성 및 인과적 구조 복원을 향상시키는 것.
• 실세계 벤치마크—인간 운동 캡처 데이터와 혈액형성 단세포 RNA-seq 데이터—를 정제하고 공개하여 NODEs에서 OOD 일반화 평가에 기여하는 것.
• 예측 성능, 희소성 수준, 그리고 동역학 법칙 복원 능력 측면에서 PathReg를 기존 방법들(LassoNet, GroupLasso, C-NODE 등)과 비교하는 것.

제안 방법

• PathReg를 제안한다. 이는 L0 노름의 부드러운 근사화를 통해 전체 입력-출력 경로를 정규화하여 정확한 0 가중치를 유도함으로써 Neural ODE 내에서 입력-출력 경로의 희소성을 달성하는, 미분 가능한 L0 기반 정규화 기법이다.
• L0 정규화와 LassoNet을 연속적 깊이 설정으로 확장하여, NODEs에서 가중치와 기능 모두에 대해 구조적인 희소성을 가능하게 한다.
• 각 입력 특징이 네트워크의 깊이 전반에 걸쳐 각 출력 뉴런에 기여하는 정도를 평가하는 경로 기반 희소성 기준을 도입하여, 경로 수준에서의 희소성 강제 조건을 설정한다.
• 실세계 데이터셋—mocap.cs.cmu.edu에서 확보한 인간 운동 캡처 데이터와 혈액형성 단세포 RNA-seq 데이터—에 대해 PathReg를 사용해 NODEs를 학습한다. 이때 시간은 의사-시간(pseudo-time)으로 간주된다.
• 테스트 MSE, 희소성 수준, 인접 행렬 등의 지표를 사용해 기능 중요도와 상호작용 회복 능력을 평가한다.
• 예측 정확도, 희소성 수준, 그리고 유전자 조절 네트워크의 생물학적 타당성 측면에서 PathReg를 일반 NODE, C-NODE, NODE용 GroupLasso, LassoNet과 비교한다.

실험 결과

연구 질문

• RQ1 Neural ODE에서 기능적 희소성이 궤적 예측 및 동역학 시스템 식별에서 분포 외 일반화 성능을 향상시키는가?
• RQ2 PathReg와 같은 경로 기반 정규화 기법이 입력-출력 연결의 희소성을 효과적으로 강제하면서도 예측 성능를 유지할 수 있는가?
• RQ3 다양한 희소화 방법(가중치 vs. 기능적 희소성)은 진정한 기저의 동역학 법칙 복원 능력에서 어떻게 상호 비교되는가? 특히 인과적 구조가 알려져 있지 않은 상황에서의 성능를 중심으로 한다.
• RQ4 기능적 희소성이 단세포 RNA-seq 데이터에서 생물학적으로 타당한 유전자 조절 네트워크를 식별하는 데 얼마나 기여하는가?
• RQ5 입력-출력 경로의 희소성 강제 조건이 간섭 기반 예측이나 인과 추론을 방해하는 가짜 특징 상호작용을 줄이는 데 얼마나 효과적인가?

주요 결과

• PathReg는 인간 운동 캡처 및 단세포 RNA-seq를 포함한 다양한 실세계 데이터셋에서 다른 방법들보다 예측 성능, 희소성 수준, OOD 일반화 능력에서 뛰어난 성능을 보였다.
• 가중치 희소성은 노이즈에 대한 내성과 비정규적 샘플링에 대한 강건성을 향상시키지만, 잘못된 특징 상호작용을 방지하지 못해 원인 분석에 활용하기에 제한적이다.
• PathReg가 강제하는 기능적 희소성 덕분에 혈액형성에서 알려진 전사 인자-유전자 상호작용(RUNX1, GATA1, ETV6 등)을 정확히 복원할 수 있었으며, 정규화되지 않은 NODE보다 뛰어난 성능을 보였다.
• PathReg는 알려지지 않은 직접 연결이 없는 유전자 간 비인과적 상호작용을 효과적으로 제거하는 데 성공했고, 다른 모델들은 이러한 가짜 특징을 제거하지 못했다.
• PathReg와 L0가 유도한 인접 행렬은 생물학적으로 더 타당성이 높았으며, 알려진 적성 전사 인자들이 올바르게 핵심 조절자로 식별되었다.
• 특히 해석 가능성과 인과성의 중요성이 요구되는 시스템 식별 작업에서, 진정한 기저의 동역학 법칙 복원 능력 측면에서 기능적 희소성은 가중치 희소성보다 더 효과적이다.