[論文レビュー] Fixed Point Networks: Implicit Depth Models with Jacobian-Free Backprop.

Samy Wu Fung, Howard Heaton+4 more|arXiv (Cornell University)|Mar 23, 2021

Model Reduction and Neural Networks参考文献 36被引用数 15

ひとこと要約

この論文は、ネットワーク重みと入力データによって一意の固定点に収束することを保証する、新しい暗黙的深さモデルである固定点ネットワーク（FPNs）を紹介する。Jacobianを含まないバックプロパゲーション（JFB）スキームを提案し、高価なJacobian方程式の解法の必要性を排除することで、固定メモリ訓練を実現し、計算コストを低減しながら分類タスクで最先端の性能を達成する。

ABSTRACT

A growing trend in deep learning replaces fixed depth models by approximations of the limit as network depth approaches infinity. This approach uses a portion of network weights to prescribe behavior by defining a limit condition. This makes network depth implicit, varying based on the provided data and an error tolerance. Moreover, existing implicit models can be implemented and trained with fixed memory costs in exchange for additional computational costs. In particular, backpropagation through implicit depth models requires solving a Jacobian-based equation arising from the implicit function theorem. We propose fixed point networks (FPNs), a simple setup for implicit depth learning that guarantees convergence of forward propagation to a unique limit defined by network weights and input data. Our key contribution is to provide a new Jacobian-free backpropagation (JFB) scheme that circumvents the need to solve Jacobian-based equations while maintaining fixed memory costs. This makes FPNs much cheaper to train and easy to implement. Our numerical examples yield state of the art classification results for implicit depth models and outperform corresponding explicit models.

研究の動機と目的

• バックプロパゲーション中に複雑なJacobianに基づく方程式を解く必要があるため、従来の暗黙的深さモデルの計算非効率性に対処すること。
• 高い計算オーバーヘッドを伴わずに、固定メモリ使用を維持する暗黙的深さモデルのトレーニング手法を開発すること。
• 安定で重みおよびデータに依存するメカニズムにより、順方向伝搬における一意の固定点への収束を保証すること。
• 実装の簡素化とトレーニングコストの低減により、暗黙的深さモデルの実用的導入を可能にすること。

提案手法

• FPNsは、順方向伝搬を反復推論の極限として定義し、ネットワーク重みと入力データが共同で一意の固定点を決定する。
• 収縮写像定理を活用して、反復プロセスが一意の解へ収束することを保証する。
• Jacobianを明示的に計算しない新しいJacobianフリーのバックプロパゲーション（JFB）スキームを導入し、固定点反復に基づく再帰的勾配更新を用いる。
• JFBスキームは、計算グラフ全体ではなく、最終的な固定点と中間活性化のみを保存することで、一定のメモリ使用量を維持する。
• バックワードパスは、Jacobianを含む線形系を解かずに、陰関数定理から導出された再帰的公式によって計算される。
• このフレームワークは標準的なディープラーニング最適化ツールと互換性があり、既存のトレーニングパイプラインへの最小限の変更で実装可能である。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーション中に計算コストの高いJacobianに基づく方程式を解かずに、暗黙的深さモデルを効率的にトレーニングできるか？
• RQ2 深層ネットワークにおける固定点反復スキームは、実用的条件下で一意の解へ収束を保証するか？
• RQ3 Jacobianフリーのバックプロパゲーション手法は、従来の暗黙的モデルと比較して、固定メモリ使用を維持しながらトレーニングコストを低減できるか？
• RQ4 FPNsの性能は、標準ベンチマークにおいて、明示的深さモデルおよび他の暗黙的深さアーキテクチャと比較してどうなるか？

主な発見

• FPNsは、明示的および暗黙的ベースラインを上回る、暗黙的深さモデルにおける最先端の分類精度を達成する。
• 提案されたJacobianフリーのバックプロパゲーション（JFB）スキームにより、Jacobianを含む線形系の解法の必要性がなくなり、トレーニングコストが顕著に低減される。
• この手法はトレーニング中に固定メモリ使用を維持し、大規模データセットにおける効率的なトレーニングを可能にする。
• やや厳しい条件のもとでも、一意の固定点への収束が保証され、安定的で予測可能な順方向推論が実現される。
• FPNsの実装は単純で、標準的なディープラーニングフレームワークと互換性があり、広範な採用を促進する。
• 数値実験により、既存の暗黙的深さモデルと比較して、FPNsが低い計算オーバーヘッドで優れた性能を達成することが確認された。