[論文レビュー] Conditional Computation in Neural Networks for faster models

Emmanuel Bengio, Pierre‐Luc Bacon+2 more|arXiv (Cornell University)|Nov 19, 2015

Adversarial Robustness in Machine Learning参考文献 24被引用数 151

ひとこと要約

本論文は、深層ニューラルネットワークにおける入力依存のスパースな活性化ポリシーを学習する強化学習ベースの手法を提案する。これにより、関連するネットワークユニットのみを条件付きで活性化することで、推論を高速化できる。予測損失の最小化とアクティブなユニット数の削減という二重の目的をもつREINFORCEを用いることで、標準ネットワークと同等の精度を達成しながら、CPUベースの推論において計算効率を顕著に向上させた。

ABSTRACT

Deep learning has become the state-of-art tool in many applications, but the evaluation and training of deep models can be time-consuming and computationally expensive. The conditional computation approach has been proposed to tackle this problem (Bengio et al., 2013; Davis & Arel, 2013). It operates by selectively activating only parts of the network at a time. In this paper, we use reinforcement learning as a tool to optimize conditional computation policies. More specifically, we cast the problem of learning activation-dependent policies for dropping out blocks of units as a reinforcement learning problem. We propose a learning scheme motivated by computation speed, capturing the idea of wanting to have parsimonious activations while maintaining prediction accuracy. We apply a policy gradient algorithm for learning policies that optimize this loss function and propose a regularization mechanism that encourages diversification of the dropout policy. We present encouraging empirical results showing that this approach improves the speed of computation without impacting the quality of the approximation.

研究の動機と目的

• 深層ニューラルネットワークの推論および学習における高い計算コストに対処すること。
• 精度を損なわせることなく計算量を削減する入力依存のスパースな活性化ポリシーを学習する手法を開発すること。
• 条件付き計算を強化学習の問題として定式化し、予測性能と計算効率の両方を最適化すること。
• アクティブなユニットの重複を防ぎ、多様で非冗長な活性化パターンを促進する正則化機構を導入すること。

提案手法

• 条件付き計算を、行動がネットワークユニットのベルヌーイマスクであるマルコフ決定過程（MDP）として定式化する。
• 各レイヤーごとに、前のレイヤーの活性化の線形変換に基づいてパラメータ化された、入力依存の活性化確率を計算するシグモイド・ベルヌーイ方策ネットワークを用いる。
• 合成報酬信号を用いて、予測精度とスパarsityの両方を同時に最適化するREINFORCE方策勾配アルゴリズムを適用する。
• ドロップアウト方策における多様性を促進する正則化項を導入し、アクティブなユニットの共適応を防ぐ。
• 方策勾配を通したバックプロパゲーションを用いて、メインネットワークと同時にエンドツーエンドで方策ネットワークを訓練する。
• 低消費電力デバイスへの実装可能性を検証するため、シングルコアCPU環境を用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、深層ニューラルネットワークにおける計算量を削減する入力依存のスパースな活性化ポリシーを効果的に学習できるか？
• RQ2 このようなポリシーは、推論速度の向上を図る一方で、どの程度の精度を維持できるか？
• RQ3 提案された正則化機構は、条件付き計算ポリシーの多様性と頑健性をどのように向上させるか？
• RQ4 REINFORCEのような方策勾配法を用いて、この手法は効率的に学習可能か？
• RQ5 実際のCPUベースの推論環境において、モデルの精度と計算効率のトレードオフはいかなるものか？

主な発見

• 提案手法は、標準ベンチマーク上でのテスト精度が標準的な深層ネットワークと同等であり、スパarsityが性能を低下させないことを示した。
• シングルコアCPU上での推論時間に顕著な高速化を達成し、密なネットワークと比較して実行時間が大幅に短縮された。
• 正則化機構により、多様な活性化パターンが促進され、冗長性が低減し、スパースな計算ポリシーの一般化性能が向上した。
• REINFORCEの使用により、微分不能なマスクであっても、条件付き計算ポリシーの有効な学習が可能となった。
• スパarsityを制御する1つのハイパーパrameterを用いることで、精度と速度の調整可能なトレードオフが実現可能となった。
• 特に、計算効率が重要なモバイル端末などの低消費電力・シングルコアデバイスへのデプロイにおいて、本手法は顕著に有効であった。