[論文レビュー] Dynamic Neural Networks: A Survey

Yizeng Han, Gao Huang+4 more|arXiv (Cornell University)|Feb 9, 2021

Advanced Neural Network Applications参考文献 267被引用数 40

ひとこと要約

この調査は動的ニューラルネットワークをサンプルごと、空間ごと、時間ごとのカテゴリに整理し、アーキテクチャ設計、意思決定戦略、訓練技術、応用、将来の方向性をレビューします。

ABSTRACT

Dynamic neural network is an emerging research topic in deep learning. Compared to static models which have fixed computational graphs and parameters at the inference stage, dynamic networks can adapt their structures or parameters to different inputs, leading to notable advantages in terms of accuracy, computational efficiency, adaptiveness, etc. In this survey, we comprehensively review this rapidly developing area by dividing dynamic networks into three main categories: 1) instance-wise dynamic models that process each instance with data-dependent architectures or parameters; 2) spatial-wise dynamic networks that conduct adaptive computation with respect to different spatial locations of image data and 3) temporal-wise dynamic models that perform adaptive inference along the temporal dimension for sequential data such as videos and texts. The important research problems of dynamic networks, e.g., architecture design, decision making scheme, optimization technique and applications, are reviewed systematically. Finally, we discuss the open problems in this field together with interesting future research directions.

研究の動機と目的

• 動的ニューラルネットワークの概要と、静的モデルに対する利点を説明する。
• 粒度（サンプル単位、空間単位、時間単位）で動的ネットワークを分類する。
• アーキテクチャ設計、意思決定戦略、最適化手法、応用を要約する。
• 動的ネットワークにおける未解決問題と今後の研究方向について論じる。

提案手法

• 動的ネットワークを三つの粒度（サンプル単位、空間単位、時間単位）に分類する。
• アーキテクチャ設計の選択肢（深さ、幅、ルーティング）と動的パラメータ機構（調整、生成、ソフトアテンション）を系統的にレビューする。
• 意思決定スキーム（早期Exit、ゲーティング、MoE、動的ルーティング）と訓練上の考慮事項を説明する。
• 視覚と言語タスクにわたる応用を総合し、CVとNLPの発展との関連を述べる。

実験結果

リサーチクエスチョン

• RQ1 動的ニューラルネットワークの主なカテゴリと、それらの定義上の特徴は何か。
• RQ2 効果的な動的推論を可能とする意思決定戦略と訓練技術は何か。
• RQ3 領域を超えた動的ネットワークの共通の応用と実用的な考慮事項は何か。
• RQ4 動的ネットワークに関して特定された未解決の問題と今後の方向性は何か。

主な発見

• 動的ネットワークは、容易なサンプルや情報量の多い場所へ計算を適応的に割り当てることで効率を改善できる。
• 動的なアーキテクチャとパラメータは、費用の増加を最小限に抑えつつ表現力を拡張する。
• 適応的推論は、プラットフォーム間での精度と計算予算の間のトレードオフを改善する。
• 既存技術（NAS、プルーニング、量子化、蒸留）との高い適合性と、視覚および言語タスクへの広範な適用性。
• 特定の入力に対してどの部品が活性化するかを観察することで解釈性の向上が得られる。
• 調査対象のアプローチは、さまざまな手法（早期出口、MoE、動的ルーティング、ゲーティング、パラメータ予測）を統一的に整理している。