[論文レビュー] Deciding How to Decide: Dynamic Routing in Artificial Neural Networks

Mason McGill, Pietro Perona|arXiv (Cornell University)|Mar 17, 2017

Neural Networks and Applications参考文献 25被引用数 51

ひとこと要約

論文はカスケード評価を用いた動的ルーティング型ニューラルネットワークの3つの訓練戦略を提案し、入力が専門化された経路にルーティングされ得ることを示し、固定計算予算のもとで動的ルーティングが静的ルーティングを上回ることがある。

ABSTRACT

We propose and systematically evaluate three strategies for training dynamically-routed artificial neural networks: graphs of learned transformations through which different input signals may take different paths. Though some approaches have advantages over others, the resulting networks are often qualitatively similar. We find that, in dynamically-routed networks trained to classify images, layers and branches become specialized to process distinct categories of images. Additionally, given a fixed computational budget, dynamically-routed networks tend to perform better than comparable statically-routed networks.

研究の動機と目的

• 人間の思考と従来のカスケード型アプローチに触発され、ある入力では意思決定が容易で、他の入力では難しい場合に動的ルーティングを正当化する。
• junctions における複数のシンクを持つネットワークを開発・検証し、内容に基づいて入力をルーティングする三つの訓練戦略を開発・検証する。
• 固定計算予算の下で精度と効率のトレードオフを定量化する。
• 動的ルーティング型ネットワークと互換性のある正則化と最適化技術を評価する。

提案手法

• 各ジャンクションで推論ルーティング方針を、学習されたスコアベクターの argmax として定義し、マルチシンク経路を可能にする。
• routing decisions の依存性を全体記述子に依存させたマルチスケール（ピラミッド型）CNN アーキテクチャを提案する。
• 誤差と計算量を組み合わせた推論コストを formalize し、c_inf = c_err + c_cpt。
• 三つの訓練戦略を導入する：Actor Learning、Pragmatic Critic Learning、Optimistic Critic Learning。
• ルーティング決定によって活性化されるサブネットワークを正則化し、頻繁な経路使用と稀な経路使用のバランスをとる。
• スループットの変動に安定した学習を促すために層ごとに学習率を調整する。
• k_cpt をルーティングポリシー入力に組み込むことで、変化する計算コストへの動的適応を許容する。

実験結果

リサーチクエスチョン

• RQ1 動的にルーティングされたネットワークは、学習済みのルーティングポリシーを用いた場合、固定計算下で静的ルーティングされたネットワークと比較して精度を向上させるか？
• RQ2 異なる訓練戦略（Actor 対 Critic アプローチ）は、動的ルーティングの学習安定性と性能にどのように影響するか？
• RQ3 どの正則化と最適化技術が動的ルーティングアーキテクチャを最も効果的に支えるか？
• RQ4 動的ルーティングによって、ブランチが入力カテゴリの異なるサブモデルへと専門化するような特性は得られるか？
• RQ5 タスク難易度の分布は動的ルーティングの利点にどのように影響するか？

主な発見

• 動的にルーティングされたネットワークは、固定計算予算の下でアーキテクチャに適合した静的ルーティングベースラインを上回る傾向がある。
• Actor ベースのルーティング戦略は、同等の静的ルーティングネットワークよりもピーク精度が高い傾向にある。
• ルーティング経路は専門化の傾向があり：ブランチは異なる画像カテゴリーを処理する傾向があり、初期層はより容易な意思決定を、後のブランチは難しいものを処理する。
• 動的ルーティングはアーキテクチャとデータセットを問わず有益であり、モデル容量が大きくなっても利点は持続する。
• Optimistic critic variant は安定性が低くなる傾向があり、 Pragmatic/Actor アプローチは訓練の複雑さとメモリの点で有利なトレードオフを提供する。
• Throughput の変動を考慮した学習率の調整は、高精度領域での性能を向上させる。