[論文レビュー] Sparsity in Continuous-Depth Neural Networks

Hananeh Aliee, Till Richter+4 more|arXiv (Cornell University)|Oct 26, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本稿では、入出力パスのスパarsityを強制する微分可能L0ベースの正則化手法PathRegを提案する。これにより、特徴量と重みの両方のスパarsityが達成される。特徴量スパarsity—重みスパarsityとは異なり—一般化性能を向上させ、特に実世界のモーショングラフデータおよび単細胞RNA-seqデータを用いたシステム同定タスクにおいて、真の動的法則の正確な回復を可能にする。

ABSTRACT

Neural Ordinary Differential Equations (NODEs) have proven successful in learning dynamical systems in terms of accurately recovering the observed trajectories. While different types of sparsity have been proposed to improve robustness, the generalization properties of NODEs for dynamical systems beyond the observed data are underexplored. We systematically study the influence of weight and feature sparsity on forecasting as well as on identifying the underlying dynamical laws. Besides assessing existing methods, we propose a regularization technique to sparsify "input-output connections" and extract relevant features during training. Moreover, we curate real-world datasets consisting of human motion capture and human hematopoiesis single-cell RNA-seq data to realistically analyze different levels of out-of-distribution (OOD) generalization in forecasting and dynamics identification respectively. Our extensive empirical evaluation on these challenging benchmarks suggests that weight sparsity improves generalization in the presence of noise or irregular sampling. However, it does not prevent learning spurious feature dependencies in the inferred dynamics, rendering them impractical for predictions under interventions, or for inferring the true underlying dynamics. Instead, feature sparsity can indeed help with recovering sparse ground-truth dynamics compared to unregularized NODEs.

研究の動機と目的

• 連続的深さを持つニューラルネットワークにおける重みスパarsityと特徴量スパarsityが一般化性能に与える影響を調査すること、特に分布外（OOD）設定下での影響を検討すること。
• 分布内予測を超えて、Neural ODEにおけるスパarsityの役割がシステム同定に与える影響を十分に検討されていない現状に応じ、その課題を解決すること。
• 入出力パスにおけるスパarsityを直接標的とする新しい正則化手法の開発を目的とすることにより、解釈可能性と因果構造の回復を向上させること。
• Neural ODEにおけるOOD一般化性能を評価するための実世界ベンチマーク—人間のモーショングラフ（mocap.cs.cmu.edu）および造血系の単細胞RNA-seqデータ—を整備・公開すること。
• 予測性能、スパarsity、および推定された遺伝子調節ネットワークの生物学的妥当性の観点から、PathRegを従来手法（例：LassoNet、GroupLasso、C-NODE）と比較すること。

提案手法

• 入出力パス全体をPruningする微分可能L0ベースの正則化手法PathRegを提案。L0ノルムのソフトリラクゼーションを用いて、正確なゼロ重みを促進することで、Neural ODE内の入出力パスにおけるスパarsityを強制する。
• L0正則化およびLassoNetを連続的深さ設定に拡張し、Neural ODEにおける重みと特徴量の両方の構造的スパarsityを可能にする。
• 各入力特徴量がネットワークの深さにわたり各出力ニューロンに与える寄与度を評価するパスベースのスパarsity基準を採用し、パスレベルでのスパarsityを強制する。
• 実世界のデータセット（mocap.cs.cmu.eduのモーショングラフおよび造血系の単細胞RNA-seqデータ）を用い、時間は擬似時間として扱う。
• テストMSE、スパarsityレベル、隣接行列などの指標を用いて、特徴量の重要度と相互作用の回復度を評価する。
• 予測精度、スパarsity、および推定された遺伝子調節ネットワークの生物学的妥当性の観点から、PathRegをvanilla NODE、C-NODE、Neural ODE用のGroupLasso、LassoNetと比較する。

実験結果

リサーチクエスチョン

• RQ1 Neural ODEにおける特徴量スパarsityは、軌道予測および動的システム同定タスクにおける分布外（OOD）一般化性能を向上させるか？
• RQ2 PathRegのようなパスベース正則化手法は、予測性能を維持しつつ、入出力接続におけるスパarsityを効果的に強制できるか？
• RQ3 異なるスパarsity手法（重みスパarsity対特徴量スパarsity）は、真の動的法則の回復において、特に因果構造が明確でない状況下でどのように比較されるか？
• RQ4 特徴量スパarsityは、単細胞RNA-seqデータから生物学的に妥当な遺伝子調節ネットワークを同定するのにどの程度有効か？
• RQ5 入出力パスにおけるスパarsityの強制は、干渉ベースの予測や因果推論を妨げる誤った特徴量依存関係を低減するか？

主な発見

• PathRegは、モーショングラフおよび単細胞RNA-seqを含む複数の実世界データセットにおいて、他の手法に比べて予測性能、スパarsity、OOD一般化性能の観点で優れている。
• 重みスパarsityはノイズや不規則なサンプリングに対してロバスト性を向上させるが、誤った特徴量依存関係の学習を防げず、因果推論への応用上での制限がある。
• PathRegが強制する特徴量スパarsityにより、造血系における既知の転写因子-遺伝子相互作用（例：RUNX1、GATA1、ETV6）の正確な回復が可能となり、正則化なしのNeural ODEを上回る性能を示す。
• PathRegは、直接的な関連が知られていない遺伝子間の非因果的相互作用を効果的に除去するが、他のモデルはこのような誤った特徴量を除去できない。
• PathRegおよびL0が推定する隣接行列は、生物学的妥当性が高く、既知の赤血球形成関連転写因子が適切に主要な調節因子として同定されている。
• 解釈可能性と因果関係が重要なシステム同定タスクでは、特徴量スパarsityが重みスパarsityよりも真の動的法則を回復するのにはるかに効果的である。