[論文レビュー] m-RevNet: Deep Reversible Neural Networks with Momentum

Duo Li, Shanghua Gao|arXiv (Cornell University)|Aug 12, 2021

Advanced Neural Network Applications参考文献 39被引用数 4

ひとこと要約

本稿では、二階常微分方程式（ODE）を用いてアーキテクチャをモデル化することで、運動量を残差ブロックに統合する新しい可逆ニューラルネットワーク、m-RevNetを提案する。可逆ダイナミクスと運動量を活用することで、特に標準のResNetが失敗するような困難な学習シナリオにおいて、メモリ効率と性能の両面でResNetを上回る。

ABSTRACT

In recent years, the connections between deep residual networks and first-order Ordinary Differential Equations (ODEs) have been disclosed. In this work, we further bridge the deep neural architecture design with the second-order ODEs and propose a novel reversible neural network, termed as m-RevNet, that is characterized by inserting momentum update to residual blocks. The reversible property allows us to perform backward pass without access to activation values of the forward pass, greatly relieving the storage burden during training. Furthermore, the theoretical foundation based on second-order ODEs grants m-RevNet with stronger representational power than vanilla residual networks, which potentially explains its performance gains. For certain learning scenarios, we analytically and empirically reveal that our m-RevNet succeeds while standard ResNet fails. Comprehensive experiments on various image classification and semantic segmentation benchmarks demonstrate the superiority of our m-RevNet over ResNet, concerning both memory efficiency and recognition performance.

研究の動機と目的

• より優れた表現能力を実現するため、深層ニューラルネットワークの設計を二階ODEと結びつけること。
• 中間活性化値を保存する必要がないため、勾配計算が可能になることで、深層ネットワークの学習における高いメモリコストを軽減すること。
• 標準のResNetが失敗する学習シナリオでも強力な性能を維持できる可逆アーキテクチャを開発すること。
• 理論的および実験的に、残差ブロックにおける運動量統合の利点を検証すること。

提案手法

• 運動量をネットワークの隠れ状態の進化に組み込むために、残差ブロックのダイナミクスを二階ODEでモデル化すること。
• 前向き伝搬が可逆であるようにアーキテクチャを設計し、バックプロパゲーション中に中間活性化値を保存する必要がなくなること。
• 二階ODEの定式化から導出された運動量項を、残差ブロックの更新ルールに組み込むこと。
• 各ブロックの出力を、学習された逆写像を用いて入力から正確に回復可能になるようにネットワークを構造化することで、変換の可逆性を保証すること。
• 可逆ODEソルバと互換性のある離散化スキームを用いて、ネットワークをエンドツーエンドで学習すること。
• 隠れ状態の進化が二階力学系に従うようにネットワークを定式化することで、ResNetsにおける一階ODEよりも豊かな表現ダイナミクスを実現すること。

実験結果

リサーチクエスチョン

• RQ1 運動量を含む二階ODEで残差ブロックをモデル化することで、ResNetsの一つのODEに基づくものと比較して、より優れた表現力が得られるか？
• RQ2 可逆アーキテクチャに運動量を統合することで、標準のResNetが失敗するような困難な学習タスクでの性能が向上するか？
• RQ3 m-RevNetの可逆性のおかげで、標準のResNetと比較して学習時のメモリ消費量がどの程度削減されるか？
• RQ4 二階ODEに基づく理論的基盤が、m-RevNetの実験的性能向上をどのように説明できるか？

主な発見

• m-RevNetは、CIFAR-10、CIFAR-100、ImageNetを含む複数の画像分類ベンチマークで、ResNetよりも高い精度を達成する。
• セマンティックセグメンテーションタスクにおいても、低メモリ使用量を維持しながらResNetを上回る優れた性能を示す。
• 特定の学習シナリオでは、m-RevNetは正常に学習され収束するが、標準のResNetは有効に学習できない。
• m-RevNetの可逆アーキテクチャにより、中間活性化値を保存する必要がないため、メモリ効率の高い学習が可能になる。
• 理論的分析により、二階ODEの定式化が、一階ODEに基づくResNetsよりも強い表現能力をm-RevNetに与えることが確認された。
• 実験的結果により、運動量統合が特に深層アーキテクチャにおいて最適化ダイナミクスを向上させることを検証した。