[論文レビュー] Sparse Flows: Pruning Continuous-depth Models

Lucas Liebenwein, Ramin Hasani+2 more|arXiv (Cornell University)|Jun 24, 2021

Model Reduction and Neural Networks参考文献 64被引用数 4

ひとこと要約

この論文は、ニューラルODEや連続正規化流れ（CNF）などの連続的深さのモデル向けに、スパースフローと呼ばれるプルーニングフレームワークを提案している。構造的および非構造的プルーニングが一般化性能を向上させ、モード崩壊を軽減し、精度を損なわずに最大98%のパラメータ圧縮を可能にすることを実証している。この手法により、プルーニングが損失関数の表面を平坦化させ、密度推定タスクにおけるロバスト性を向上させることを明らかにした。

ABSTRACT

Continuous deep learning architectures enable learning of flexible probabilistic models for predictive modeling as neural ordinary differential equations (ODEs), and for generative modeling as continuous normalizing flows. In this work, we design a framework to decipher the internal dynamics of these continuous depth models by pruning their network architectures. Our empirical results suggest that pruning improves generalization for neural ODEs in generative modeling. We empirically show that the improvement is because pruning helps avoid mode-collapse and flatten the loss surface. Moreover, pruning finds efficient neural ODE representations with up to 98% less parameters compared to the original network, without loss of accuracy. We hope our results will invigorate further research into the performance-size trade-offs of modern continuous-depth models.

研究の動機と目的

• 連続的深さのモデル、たとえばニューラルODEやCNFの内部ダイナミクスと一般化性能にプルーニングが与える影響を調査すること。
• 損失関数の形状を変化させ、モード崩壊を回避することで、プルーニングが密度推定タスクにおける一般化性能を向上させられるかどうかを理解すること。
• パフォーマンスを維持または向上させながら、最小限で効率的なニューラルODEアーキテクチャをプルーニングによって同定すること。
• 連続正規化流れにおけるアーキテクチャのスパarsityが、ヘッセ固有値および損失関数の平坦性に与える影響を調査すること。
• 体系的なアブレーションスタディを通じて、ロバストでスパースかつ効率的な連続的深さのモデルを設計するためのインサイトを提供すること。

提案手法

• ニューラルODEやCNFのニューラルネットワーク部に、構造的および非構造的プルーニング技術を適用してモデルパラメータを削減する。
• ヘッセ行列の固有値を計算することで、プルーニングされたモデルの損失関数の平坦性を評価するヘッセベースの分析を実施する。
• ODEベースのフローを用いた変数変換の公式を用いて、密度推定における対数尤度を計算し、逆写像性と扱いやすいヤコビアン行列式の計算を維持する。
• FFJORDをCNFの高速版として採用し、トゥイとリアルワールドの両方のデータセットでスケーラブルなトレーニングとプルーニング実験を可能にする。
• 活性化関数、幅、深さ、ハイパーパrameter（学習率、重み減衰）のアブレーションスタディを実施し、スパースニューラルODEにおける最適な設計選択を同定する。
• プルーニングされた重みに対応するヘッセ行列のエントリをゼロにすることで、スパースヘッセ行列の計算を保証し、損失関数の形状評価における正確性を維持する。

実験結果

リサーチクエスチョン

• RQ1 密度推定タスクにおいて、ニューラルODE や CNF のような連続的深さのモデルに対して、プルーニングが一般化性能を向上させるか？
• RQ2 特にヘッセ固有値と損失関数の平坦性の観点から、プルーニングが損失関数の幾何的性質に与える影響は何か？
• RQ3 マルチモーダルな密度推定において、プルーニングが、すべてのデータモードを捉える能力を向上させることで、モード崩壊を緩和または解消できるか？
• RQ4 パフォーマンスを損なわせずに、ニューラルODEで達成可能な最大のパラメータ圧縮比は何か？ また、そのようなスパースモデルは、スクラッチからトレーニング可能か？
• RQ5 活性化関数、幅、深さ、学習率などのアーキテクチャ的およびハイパーパrameter的選択肢の中で、スパース状態におけるニューラルODEの一般化性能に最も影響を与えるのはどれか？

主な発見

• 密度推定タスクにおけるニューラルODEでは、最適なスパarsityレベルで、経験的リスクが最大で1桁低下し、プルーニングが一般化性能を向上させることを実証した。
• プルーニングによりヘッセ固有値の大きさが減少し、損失関数の表面が平坦化され、平坦なミニマと一般化性能の理論的関連性と整合的であることが示された。
• マルチモーダルな密度推定において、プルーニングモデルではモード崩壊が顕著に軽減または完全に解消されており、対数尤度とサンプル品質の両面で改善が確認された。
• フレームワークは、CIFAR-10やその他のベンチマークでテスト精度を維持または向上させながら、ニューラルODEで最大98%のパラメータ圧縮（50倍圧縮）を達成した。
• スパースニューラルODEは、スクラッチから効果的にトレーニングできない。プルーニングが、効率的かつ高性能なアーキテクチャを発見するために不可欠である。
• リプシッツ連続的で単調的かつ有界な活性化関数は、プルーニングされたニューラルODEでより良い一般化性能を示し、スパース状態ではモデルの幅が深さよりも一般化性能に与える影響が大きいことが分かった。