[論文レビュー] Introspection: Accelerating Neural Network Training By Learning Weight Evolution

Abhishek Sinha, Mausoom Sarkar+2 more|arXiv (Cornell University)|Apr 17, 2017

Neural Networks and Applications被引用数 3

ひとこと要約

本稿では、Introspectionと呼ばれる手法を提案する。この手法は、MNISTなどの単純なネットワークから学習された重みの変化パターンを用いて、将来の重み値を予測する事前学習済みニューラルネットワークを活用することで、深層ニューラルネットワークの学習を高速化する。重みの軌道を予測し、所定の間隔でこれらの予測値を注入することで、CIFAR-10 や ImageNet といった多様なアーキテクチャとデータセットにおいて、低メモリおよび計算コストで収束を高速化し、標準的な最適化手法や二次関数フィッティングや線形補間といったベースラインを上回る性能を達成する。

ABSTRACT

Neural Networks are function approximators that have achieved state-of-the-art accuracy in numerous machine learning tasks. In spite of their great success in terms of accuracy, their large training time makes it difficult to use them for various tasks. In this paper, we explore the idea of learning weight evolution pattern from a simple network for accelerating training of novel neural networks. We use a neural network to learn the training pattern from MNIST classification and utilize it to accelerate training of neural networks used for CIFAR-10 and ImageNet classification. Our method has a low memory footprint and is computationally efficient. This method can also be used with other optimizers to give faster convergence. The results indicate a general trend in the weight evolution during training of neural networks.

研究の動機と目的

• 大規模応用において顕著な計算コストと長時間の学習を要する深層ニューラルネットワークの課題に対処すること。
• 適応的学習率に依存するが依然として多数の学習ステップを要する既存の最適化手法（例：Adam、RMSProp）の限界を克服すること。
• 異なるネットワークやタスク間で重みの変化に一般化可能なパターンが存在するかを調査すること。
• 再学習を必要とせず、未学習のネットワークの学習を加速できる知識転送手法を開発すること。
• すべての層で非同期かつ並列に重み更新が可能な、軽量で効率的なメカニズムを設計すること。

提案手法

• 単純なネットワーク（例：MNIST用のCNN）の重み変化データから学習した、重みの変化の軌道を学習する小さなニューラルネットワーク（インテロスペクションネットワーク）を訓練する。
• 勾配に依存せずに、現在および過去の重み履歴に基づき、将来の時刻（例：2t）における重みの予測値をインテロスペクションネットワークで予測する。
• 所定の間隔（ジャンプポイント）で、これらの予測された重み値をメインネットワークに注入することで、収束を加速する。
• インテロスペクションネットワークは、予測値と実際の将来の重み値との差を最小化する回帰目的関数を用いて訓練される。
• 本手法は任意の最適化手法（SGD、Adamなど）と互換性があり、非同期に適用可能であり、計算コストを低減できる。
• 本手法はアーキテクチャ、活性化関数、正規化手法（バッチノーマライゼーション、LRN）およびデータセット（MNIST、CIFAR-10、ImageNet）の多様な組み合わせに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークから得た重みの変化パターンを一般化し、未学習の他のネットワークの学習を高速化できるか？
• RQ2 履歴的な重みの軌道に基づいて将来の重み値を予測することで、標準的な最適化手法よりも収束が速くなるか？
• RQ3 二次関数フィッティングや線形補間といったベースライン手法と比較して、Introspection手法は収束速度および精度において優れているか？
• RQ4 異なる間隔（ジャンプ比）で重み更新を導入した場合、学習の安定性および性能にどのような影響を与えるか？
• RQ5 再学習を必要とせず、異なるネットワークアーキテクチャ、損失関数、データセットにわたってインテロスペクションネットワークが一般化可能か？

主な発見

• CIFAR-10では、21,200ステップで85.6%のテスト精度を達成した。これは、標準的なSGD（26,500ステップで85.29%）や二次関数フィッティング（27,200ステップで85.45%）を上回った。
• MNIST1では、12,000ステップで98.5%のテスト精度に到達し、標準的なSGDや線形フィッティングベースラインよりも顕著に高速であった。
• 二次関数フィッティングベースラインは、9.8%の精度低下を引き起こし、多くの場合回復しなかった。これは不安定さと一般化能力の欠如を示している。
• 線形補間やノイズ注入は、標準的なSGDと比較して顕著な改善を示さず、単純な曲線フィッティングやランダムな摂動では効果がないことを示している。
• ReLUを含まない線形インテロスペクションネットワークはSGDよりわずかに改善を示したが、非線形インテロスペクションネットワークに劣っていた。
• 本手法はアーキテクチャおよびデータセットにわたって一般化可能であり、ImageNetを含む複数のデータセットで一貫した収束の高速化と最小限のメモリ使用量を達成した。