[論文レビュー] Tricks from Deep Learning

Atılım Güneş Baydin, Barak A. Pearlmutter+1 more|arXiv (Cornell University)|Nov 10, 2016

Neural Networks and Applications参考文献 16被引用数 6

ひとこと要約

この論文は、大規模で深いニューラルネットワークにおける学習の効率性と安定性を向上させる、特に勾配および最適化のテクニック——特に勾配と最適化の工夫——を特定し、説明している。これらの手法、たとえばバッチ正規化、ドロップアウト、確率的最適化などは、アルゴリズム的微分（AD）の知見に根ざしており、標準的なADよりも実用的な改善をもたらし、スケーラブルで高性能な学習システムの実現を可能にしている。

ABSTRACT

The deep learning community has devised a diverse set of methods to make gradient optimization, using large datasets, of large and highly complex models with deeply cascaded nonlinearities, practical. Taken as a whole, these methods constitute a breakthrough, allowing computational structures which are quite wide, very deep, and with an enormous number and variety of free parameters to be effectively optimized. The result now dominates much of practical machine learning, with applications in machine translation, computer vision, and speech recognition. Many of these methods, viewed through the lens of algorithmic differentiation (AD), can be seen as either addressing issues with the gradient itself, or finding ways of achieving increased efficiency using tricks that are AD-related, but not provided by current AD systems. The goal of this paper is to explain not just those methods of most relevance to AD, but also the technical constraints and mindset which led to their discovery. After explaining this context, we present a "laundry list" of methods developed by the deep learning community. Two of these are discussed in further mathematical detail: a way to dramatically reduce the size of the tape when performing reverse-mode AD on a (theoretically) time-reversible process like an ODE integrator; and a new mathematical insight that allows for the implementation of a stochastic Newton's method.

研究の動機と目的

• 大規模で深いニューラルネットワークにおける勾配計算と最適化の課題に対処するため、ディープラーニングコミュニティが開発した実用的で効果的な手法を特定し、説明すること。
• 標準的なADシステムがネイティブにサポートしないAD関連の問題を、ディープラーニングの実践的アプローチが暗黙的に解決することによって、アルゴリズム的微分（AD）とディープラーニングのギャップを埋めること。
• ディープラーニングの成功は、勾配の挙動と計算効率を改善するアーキテクチャ的および最適化的革新に起因しており、とくに消失／爆発勾配の問題に対処する上で顕著であることを示すこと。
• 効率的な確率的ヘッシアン逆行列・ベクトル積推定のための数学的洞察を提示し、収束性が保証された新しい確率的ニュートン法の実装を可能にすること。
• ADコミュニティとディープラーニングコミュニティの間の協力を促進すること。具体的には、ADの適用性を高める、相互に利用可能な実用的技術を強調すること。

提案手法

• バッチ正規化や残差接続といったアーキテクチャ的変更を導入し、深層ネットワークにおける勾配の安定化と最適化の改善を図る。
• 勾配の爆発を防ぐために、バックプロパゲーション中に大きな勾配値を事前に定めたしきい値でカットオフする勾配クリッピングを提案する。
• トレーニング中にニューロンをランダムに無効化することで、共適応を軽減し一般化性能を向上させる正則化手法としてドロップアウトを採用する。
• 活性化と勾配の分散を層間で安定させるために、適切な重み初期化（例：HeやXavier）を用いることで、収束を加速する。
• 検証データセットにおける汎化性能が改善しなくなった時点で学習を停止することで、過学習を防ぐために早期停止を適用する。
• 確率的系列展開と確率的サンプリングを用いて、ヘッシアン逆行列・ベクトル積の不偏推定器を構築し、効率的な確率的ニュートン法の実装を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングアーキテクチャは、非線形性が強い深層ネットワークで一般的に見られる消失・爆発勾配問題をどのように軽減しているか？
• RQ2 バッチ正規化や残差接続といったアーキテクチャ的要素は、勾配の流れと最適化の安定性をどのように向上させているか？
• RQ3 トレーニングの初期一時的段階において、確率的最適化手法をより強固で効率的にするにはどうすればよいか？（漸近的ではなく、初期段階での性能向上が目的）
• RQ4 確率的ヘッシアン・ベクトル積を用いて、ヘッシアン逆行列・ベクトル積の不偏推定器を効率的に構築できるか？
• RQ5 ディープラーニングの実践的アプローチは、標準的なADシステムがカバーしないAD関連の問題を、どのように暗黙的に解決しているか？

主な発見

• バッチ正規化や残差接続といったアーキテクチャ的革新は、勾配の流れを著しく改善し、非常に深いネットワークの学習を可能にしている。
• 勾配クリッピングは、リカレントネットワークや深層ネットワークにおけるバックプロパゲーション中に勾配の爆発を効果的に防ぎ、学習の安定性を向上させている。
• ドロップアウトは、トレーニング中にユニットをランダムに無効化することでニューロンの共適応を軽減し、一般化性能を向上させる。推論時にはスケーリングにより性能が回復する。
• ヘッシアン逆行列・ベクトル積の不偏推定器は、確率的系列展開を用いることで効率的に構築可能であり、収束性が保証された確率的ニュートン法の実装を可能にしている。
• 適切な重み初期化（例：HeやXavier初期化）は、層間で活性化と勾配の分散を安定させ、収束を加速する。
• 早期停止は、検証セットにおける汎化性能が劣化し始めた時点で学習を停止することで、一般化性能を向上させる。これは、学習損失がまだ減少を続ける場合でも同様に有効である。
• ヘッシアン逆行列・ベクトル積の不偏推定器は、確率的系列展開を用いることで、効率的に構築可能であり、収束性が保証された確率的ニュートン法の実装を可能にしている。