[論文レビュー] GradNets: Dynamic Interpolation Between Neural Architectures

Diogo Almeida, Nate Sauder|arXiv (Cornell University)|Nov 21, 2015

Neural Networks and Applications参考文献 16被引用数 3

ひとこと要約

GradNetsは、学習中の段階的変化を学習可能なスケジュールで制御することで、ニューラルネットワークの構成要素（例：線形からReLU、恒等写像からドロップアウト）を段階的に遷移させる動的アーキテクチャ補間フレームワークを導入する。この手法により最適化の安定性が向上し、200層に達する極めて深いネットワークの学習が可能となり、計算コストの増加が著しくない範囲でCIFAR-10およびMNISTにおける精度が向上する。

ABSTRACT

In machine learning, there is a fundamental trade-off between ease of optimization and expressive power. Neural Networks, in particular, have enormous expressive power and yet are notoriously challenging to train. The nature of that optimization challenge changes over the course of learning. Traditionally in deep learning, one makes a static trade-off between the needs of early and late optimization. In this paper, we investigate a novel framework, GradNets, for dynamically adapting architectures during training to get the benefits of both. For example, we can gradually transition from linear to non-linear networks, deterministic to stochastic computation, shallow to deep architectures, or even simple downsampling to fully differentiable attention mechanisms. Benefits include increased accuracy, easier convergence with more complex architectures, solutions to test-time execution of batch normalization, and the ability to train networks of up to 200 layers.

研究の動機と目的

• 深層学習における最適化のしやすさとモデル表現力の根本的トレードオフを解消すること。
• 初期段階の訓練安定性を犠牲にしてでも後段階での表現力を高める静的アーキテクチャの限界を克服すること。
• 標準的な静的アーキテクチャでは失敗するが、200層のMLPなど極めて深いネットワークの訓練を可能にすること。
• 訓練中にアーキテクチャ的要素を動的に適応させることで一般化性能と収束性を向上させること。
• 空間変換ネットワークやバッチ正則化といった複雑な要素を安定して使用できるようにすること。

提案手法

• 2つのアーキテクチャ的要素の重み付き平均を用い、補間重み$g = \min(t/\tau, 1)$を訓練エポックにわたり線形に0から1へと徐々に変化させる。
• さまざまな要素ペアにGradNetフレームワークを適用する：例として恒等写像からReLU（GReLU）、恒等写像からドロップアウト、平均プーリングからマックスプーリングなど。
• バックプロパゲーション中に微分可能となるように、異なる要素間でテンソルの形状を一貫させる。
• 1つのハイパーパrameter$\tau$でスケジュールを制御し、CIFAR-10では$\tau = 100$、MNISTでは$\tau = 5$を設定。
• 直交初期化とAdam最適化を用い、早期停止を適用することで安定した訓練を確保。
• 空間変換ネットワークやバッチ正則化といった複雑な要素に対してもフレームワークを適用し、通常は不安定なモジュールの安定した訓練を可能にする。

実験結果

リサーチクエスチョン

• RQ1 アーキテクチャ的要素間の動的補間は、深層ネットワークの訓練安定性と最終的な性能を向上させることができるか？
• RQ2 GradNetsは、標準的な静的アーキテクチャでは発散してしまうネットワーク（特に高いドロップアウト率を用いる場合）に対しても収束を可能にするか？
• RQ3 GradNetsは、MNIST上で200層のフィードフォワードネットワーク（例：200層MLP）の学習を可能にするか？
• RQ4 GradNetsは、空間変換ネットワークやバッチ正則化といった複雑な要素の訓練を安定化させることができるか？
• RQ5 動的アーキテクチャ適応は、CIFAR-10、MNIST、Cluttered MNISTといった複数のベンチマークで一貫した性能向上をもたらすか？計算コストの増加は著しくないか？

主な発見

• GradNetsにより、標準的な静的アーキテクチャでは失敗するが、MNIST上で200層のマルチレイヤーパーセプトロンの学習が成功した。
• CIFAR-10において、段階的ReLUおよび段階的ドロップアウトを用いたGradNetsは、静的バージョンよりも高いテスト精度を達成した。
• 段階的ドロップアウトにより、静的ネットワークが発散するのを防ぎ、最適化の安定性が向上した。
• 段階的バッチ正則化により、テスト時におけるバッチ正則化の問題で通常失敗するモデルの安定した訓練が可能になった。
• GradNet補間を施した空間変換ネットワークは、10回の実行で平均98.2%の精度を達成し、発散が一切なく、静的バージョンを上回った。
• 補間は単純な重み付き平均であり、追加のパラメータや演算が不要なため、計算コストの増加はほとんどなかった。