[論文レビュー] Reversible Architectures for Arbitrarily Deep Residual Neural Networks

Bo Chang, Lili Meng+4 more|arXiv (Cornell University)|Sep 12, 2017

Model Reduction and Neural Networks参考文献 42被引用数 71

ひとこと要約

本論文は、ODEに触発された深いResNet風モデルの3つの安定で可逆的なアーキテクチャを提案し、任意に深いネットワークのメモリ効率の良い訓練を可能にし、競争力のある精度と限られたデータに対する頑健性を実現します。

ABSTRACT

Recently, deep residual networks have been successfully applied in many computer vision and natural language processing tasks, pushing the state-of-the-art performance with deeper and wider architectures. In this work, we interpret deep residual networks as ordinary differential equations (ODEs), which have long been studied in mathematics and physics with rich theoretical and empirical success. From this interpretation, we develop a theoretical framework on stability and reversibility of deep neural networks, and derive three reversible neural network architectures that can go arbitrarily deep in theory. The reversibility property allows a memory-efficient implementation, which does not need to store the activations for most hidden layers. Together with the stability of our architectures, this enables training deeper networks using only modest computational resources. We provide both theoretical analyses and empirical results. Experimental results demonstrate the efficacy of our architectures against several strong baselines on CIFAR-10, CIFAR-100 and STL-10 with superior or on-par state-of-the-art performance. Furthermore, we show our architectures yield superior results when trained using fewer training data.

研究の動機と目的

• 深いResNetと常微分方程式（ODE）との関係を動機づけ、安定性と可逆性を研究するために形式化する。
• 穏当な資源の下で非常に深いネットワークの訓練を可能にする、安定したフォワード伝搬を備えた3つの可逆的アーキテクチャを開発する。
• 学習モデルの時間ダイナミクスを滑らかにすることを促す正則化を導入する。
• 限られた訓練データを含む状況を含め、CIFAR-10・CIFAR-100・STL-10で経験的な有効性を示す。

提案手法

• ResNetを離散化されたODEとして解釈し、ヤコビ行列の固有値を介して前方の安定性を分析し、実部が非正であることを保証する。
• 2層のハミルトンネットワーク、MidPointネットワーク、Leapfrogネットワークの3つの可逆アーキテクチャを提案し、それぞれ固有の離散化（Verlet風、中心差分など）を持つ。
• 後向伝搬中に活性化を再構成できるよう可逆性を確保し、メモリ効率を高める。
• Kinという時変カーネルの滑らかな時間ダイナミクスを課し、一般化を促進する正則化汎関数を提供する。
• 非常に深いネットワーク（例：1202層）のメモリ効率と学習可能性を実証し、標準ベンチマークでResNetおよびRevNetと比較する。

実験結果

リサーチクエスチョン

• RQ1 ResNet型アーキテクチャを安定かつ可逆な動的系として扱い、任意に深いネットワークを可能にできるか。
• RQ2 ハミルトニアン、MidPoint、Leapfrogに着想を得たブロックは、画像分類タスクにおいて実際に安定性と可逆性を提供するか。
• RQ3 CIFAR-10、CIFAR-100、STL-10で、特に限られた訓練データの場合、これらの可逆アーキテクチャはResNetおよびRevNetと比較してどう性能するか。
• RQ4 提案された正則化は、ネットワークパラメータの滑らかな時間ダイナミクスを促進することによって汎化性能を改善するか。
• RQ5 極端に深いネットワークを控えめなメモリで訓練できるか、そして訓練は深さに対して堅牢か。

主な発見

• 3つの可逆アーキテクチャは虚数のヤコビアン固有値で安定した前方伝搬を生み出し、メモリ効率の良い逆伝搬を実現する。
• 3つのアーキテクチャは、CIFAR-10、CIFAR-100、STL-10で最先端のベースラインと同等またはそれに準じた精度を達成し、STL-10ではベースラインを顕著に上回る利得を示す。
• ハミルトンネットワークとその派生は、訓練データが限られている場合にResNetと比較して頑健性と性能が向上する。
• 1202層のハミルトンネットワークは、同程度の深さのResNetのおよそ半分のパラメータで訓練でき、精度を維持または超える一方で、メモリと最適化の安定性の利点を示す。
• STL-10の結果は、提案手法がいくつかの設定でベンチマーク法より約10パーセントポイント上回ることを示す。
• データの部分抽出実験は、ラベル付きデータが乏しいときに安定なアーキテクチャがResNetより一般化性能が高いことを示す。