[논문 리뷰] Beyond Predictions in Neural ODEs: Identification and Interventions

Aliee, Hananeh, Fabian J. Theis외 1명|arXiv (Cornell University)|2021. 06. 23.

Model Reduction and Neural Networks참고 문헌 50인용 수 5

한 줄 요약

이 논문은 일반 미분방정식(OED)에서 시간 변화하는 데이터의 인과적 역학과 구조적 종속성을 식별하기 위해 희소성 정규화를 도입한 C-NODE라는 방법을 제안한다. 인과적 상호작용을 강제로 희박하게 만들면서 C-NODE는 비선형, 순환적, 고차원적 시스템을 포함한 실제 단세포 RNA-seq 데이터에서 기저 ODE를 복원하고 간섭 조건 하에서도 정확한 예측을 가능하게 한다.

ABSTRACT

Spurred by tremendous success in pattern matching and prediction tasks, researchers increasingly resort to machine learning to aid original scientific discovery. Given large amounts of observational data about a system, can we uncover the rules that govern its evolution? Solving this task holds the great promise of fully understanding the causal interactions and being able to make reliable predictions about the system's behavior under interventions. We take a step towards answering this question for time-series data generated from systems of ordinary differential equations (ODEs). While the governing ODEs might not be identifiable from data alone, we show that combining simple regularization schemes with flexible neural ODEs can robustly recover the dynamics and causal structures from time-series data. Our results on a variety of (non)-linear first and second order systems as well as real data validate our method. We conclude by showing that we can also make accurate predictions under interventions on variables or the system itself.

연구 동기 및 목표

• 관측 시간 변화 데이터에서 진정한 기저 ODE 역학을 식별하는 데 도전하는 문제를 해결하기 위해, 기하학적 제약 조건이 없는 한에서 이는 부족한 문제이다.
• 신경 ODE를 사용하여 비선형, 순환적, 고차원 동역학 시스템에서 인과적 구조의 식별성을 향상시키기 위해.
• 진정한 지배 역학을 학습함으로써 변수나 시스템 파라미터에 대한 간섭 조건 하에서도 신뢰할 수 있는 예측을 가능하게 하기 위해.
• 소음과 비정규적 샘플링이 있는 실제 단세포 유전자 발현 데이터와 함께 합성 ODE와 실존 데이터 양쪽에서 방법을 검증하기 위해.
• 희소성 정규화가 관찰 데이터로부터 생물학적으로 의미 있는 조절 네트워크를 회복하는 데 어떻게 기여하는지 보여주기 위해.

제안 방법

• 인과적 상호작용의 수를 제한하여 설명 가능하고 식별 가능한 역학을 촉진하기 위해 신경 ODE에 희소성 유도 정규화 기법을 도입한다.
• 신경 ODE의 도함수 네트워크에 정규화를 적용하여 각 상태 변수의 도함수에 영향을 주는 변수를 소수로 유지한다.
• 기울기 기반 최적화를 통해 ODE 함수를 동시에 학습하고 인과적 구조를 추론할 수 있는 미분 가능 아키텍처를 사용한다.
• 학습된 도함수에서 인과적 부모를 추출하는 인과 발견 파이프라인을 적용하여 순환적 종속성도 포함한다.
• 다양한 소음 수준과 샘플링 조건에서 선형 및 비선형 시스템 포함의 합성 1차 및 2차 ODE에서 방법을 검증한다.
• 실제 인간 및 쥐의 혈액형성 단세포 RNA-seq 데이터에 C-NODE를 적용하여 핵심 전사 인자 및 조절 유전자를 식별한다.

실험 결과

연구 질문

• RQ1 신경 ODE에서 희소성 정규화는 관측 시간 변화 데이터로부터 진정한 기저 ODE 역학을 식별하는 데 효과적인가?
• RQ2 C-NODE는 비선형 및 고차원 동역학 시스템에서 순환 종속성을 포함한 인과적 구조를 정확히 추론할 수 있는가?
• RQ3 기본 동역학이 알려지지 않은 상황에서도 C-NODE는 변수나 시스템 파라미터에 대한 간섭 조건 하에서도 정확한 예측 성능 유지를 할 수 있는가?
• RQ4 C-NODE는 소음이 많고 비정규적으로 샘플링된 단세포 RNA-seq 데이터로부터 생물학적으로 관련성이 있는 유전자 조절 네트워크를 얼마나 효과적으로 회복할 수 있는가?
• RQ5 희소성 정규화 기법이 고차원 데이터에서 잘못된 특징에 의존하는 것을 얼마나 효과적으로 방지하는가?

주요 결과

• C-NODE는 추가 소음과 비정규적 샘플링 조건 하에서도 합성 1차 및 2차 비선형 시스템에서 진짜 ODE 역학과 인과적 구조를 성공적으로 복원한다.
• 변수 및 시스템 파라미터에 대한 새로운 간섭 조건 하에서도 정확한 예측 성능을 달성하여 단순 예측을 넘어서 강건성을 입증한다.
• 529개 유전자를 포함한 인간 혈액형성 데이터에서 C-NODE는 141개의 핵심 조절 유전자를 식별하였으며, 그 중 22개는 적혈구 분화에 필수적인 알려진 전사 인자이다.
• 유전자 집단 부 enrichment 분석을 통해 C-NODE가 허혈성 줄기세포 및 적혈구 분화와 같은 생물학적으로 의미 있는 과정을 잘 포착하고 있음을 확인하였다.
• 141개의 중요한 유전자가 모든 세포 유형에 걸쳐서가 아니라 적혈구 계열에서만 높은 변동성을 보이며, 모델이 잘못된 특징에 의존하지 않음을 확인하였다.
• C-NODE는 종 간 일반화 성능을 보이며, 인간과 쥐의 단세포 RNA-seq 데이터에서 모두 GATA 유전자가 헤모글로빈 유전자 조절자로 정확히 식별되었다.