[論文レビュー] NAIS-Net: Stable Deep Networks from Non-Autonomous Differential Equations

Marco Ciccone, Marco Gallieri+3 more|arXiv (Cornell University)|Apr 19, 2018

Advanced Memory and Neural Computing参考文献 46被引用数 26

ひとこと要約

NAIS-Net は、時間不変非自己同型力学系に基づく深層残差ネットワークアーキテクチャであり、各処理段階への入力からのスキップ接続が、グローバル漸近安定性を強制する。パターン依存の処理深さを可能とし、ResNetと比較して一般化ギャップを最大50％まで低減する。また、無限のアンロール長でも安定したリプシッツ連続な入出力マップを維持する。全結合層および畳み込み層に対して、効率的な安定性強制重み制約を用いる。

ABSTRACT

This paper introduces Non-Autonomous Input-Output Stable Network(NAIS-Net), a very deep architecture where each stacked processing block is derived from a time-invariant non-autonomous dynamical system. Non-autonomy is implemented by skip connections from the block input to each of the unrolled processing stages and allows stability to be enforced so that blocks can be unrolled adaptively to a pattern-dependent processing depth. NAIS-Net induces non-trivial, Lipschitz input-output maps, even for an infinite unroll length. We prove that the network is globally asymptotically stable so that for every initial condition there is exactly one input-dependent equilibrium assuming $tanh$ units, and incrementally stable for ReL units. An efficient implementation that enforces the stability under derived conditions for both fully-connected and convolutional layers is also presented. Experimental results show how NAIS-Net exhibits stability in practice, yielding a significant reduction in generalization gap compared to ResNets.

研究の動機と目的

• 自己同型力学系の制限を解消するため、入力に依存しない固定点に収束する深層ネットワークの問題を、スキップ接続による非自己同型性の導入によって解決する。
• 深層残差ネットワークにおけるグローバル漸近安定性を保証し、入力ごとの可変処理深さを許容する安定な学習および推論を実現する。
• tanhおよびReLU活性化関数の両方に対して、安定性の十分条件を導出し、入出力マップの有界性と段階的安定性を保証する。
• パラメータ数を増加させることなく、確率的最適化において効率的な重み制約を用いることで、ResNetよりも10〜20倍深いネットワークを実現する。
• CIFAR-10およびCIFAR-100において、一般化性能を向上させ、ResNetと比較して一般化ギャップを低減することを示す。

提案手法

• 各処理ブロックがアンロールされた各段階に直接入力を通じたスキップ接続を受ける非自己同型力学系を導入し、システムを入力依存にする。
• リャプノフ解析を用いて、グローバル漸近安定性の十分条件を導出し、tanhユニットに対して入力依存の唯一の平衡点を保証する。
• ReLUユニットに対して段階的安定性を確立し、入力差が有界である限り、出力差が有界に保たれることを保証する。
• 確率的最適化下で、全結合層および畳み込み層の重み行列に対して安定性制約を強制する再投影法を提案する。
• 推論時にパターン依存の停止基準を採用し、活性化の変化がしきい値未満に低下した段階でアンロールを停止することで、入力ごとの可変深さを実現する。
• 各ブロックで時間不変かつ共有重みのアーキテクチャを採用し、深さと安定性のバランスを最適化するように適応的にアンロールする。

実験結果

リサーチクエスチョン

• RQ1 入力パターンに応じて処理深さが適応するが、安定性を維持できるような深層残差ネットワークを設計できるか？
• RQ2 非自己同型ダイナミクスをどのように残差ネットワークに埋め込み、入力依存の収束を実現し、固定点挙動を回避できるか？
• RQ3 tanhおよびReLU活性化関数を備えた残差ネットワークにおいて、グローバル漸近安定性を保証する数学的条件は何か？
• RQ4 無限のアンロール長であっても、安定したリプシッツ連続な入出力マップを維持できるか？
• RQ5 標準的なResNetと比較して、安定性制約を強制することで、一般化ギャップはどの程度低減できるか？

主な発見

• NAIS-Net は、CIFAR-10およびCIFAR-100において、テスト精度が類似しているにもかかわらず、ResNetと比較して一般化ギャップを最大50％まで低減する。
• 非自己同型性と安定性条件を強制することで、無限のアンロール長であっても、安定したリプシッツ連続な入出力マップを実現する。
• tanhユニットの場合、NAIS-Net は入力依存の唯一の平衡点を保証し、予測可能で安定したダイナミクスを実現する。
• ReLUユニットの場合、ネットワークは段階的安定性を示し、入力差が小さい限り、すべての層で出力差が有界に保たれる。
• 安定で適応的なアンロールのおかげで、NAIS-Net は元のResNetと比較して10〜20倍の深さにまで拡張可能であり、パラメータ数は増加しない。
• 定性的な分析から、画像の複雑さや内容（例：テクスチャ、色、物体のサイズ）が最終的な処理深さを決定しており、より複雑な入力はより深い処理を受けることが明らかになった。