[論文レビュー] Learning Time/Memory-Efficient Deep Architectures with Budgeted Super Networks

Tom Véniat, Ludovic Denoyer|arXiv (Cornell University)|May 31, 2017

Advanced Neural Network Applications参考文献 41被引用数 74

ひとこと要約

この論文は Budgeted Super Networks (BSN) を提案し、推論計算量、メモリ、または分散コストのいずれかの予算制約の下でニューラルアーキテクチャを自動的に発見する。確率的最適化フレームワークとポリシー勾配トレーニングを用いる。

ABSTRACT

We propose to focus on the problem of discovering neural network architectures efficient in terms of both prediction quality and cost. For instance, our approach is able to solve the following tasks: learn a neural network able to predict well in less than 100 milliseconds or learn an efficient model that fits in a 50 Mb memory. Our contribution is a novel family of models called Budgeted Super Networks (BSN). They are learned using gradient descent techniques applied on a budgeted learning objective function which integrates a maximum authorized cost, while making no assumption on the nature of this cost. We present a set of experiments on computer vision problems and analyze the ability of our technique to deal with three different costs: the computation cost, the memory consumption cost and a distributed computation cost. We particularly show that our model can discover neural network architectures that have a better accuracy than the ResNet and Convolutional Neural Fabrics architectures on CIFAR-10 and CIFAR-100, at a lower cost.

研究の動機と目的

• 予測品質と推論コストのバランスを取るニューラルアーキテクチャの必要性を動機づける。
• 特定のコスト形を仮定せずに最大コストを課す予算付き学習フレームワークを提案する。
• 計算量、メモリ、または分散コスト制約の下で精度を最適化するアーキテクチャの発見を可能にする。
• ResNetおよびCNFベースラインと比較して CIFAR-10/100 および画像セグメンテーションタスクで有効性を示す。

提案手法

• 大規模な Super Network (S-network) をエッジが学習可能なパラメータを持つモジュールからなる DAG として定義する。アーキテクチャはこの S-network のサブグラフに対応する。
• コスト制約 C と最大許容コスト C̄ をソフトな目的関数にペナルティ項として埋め込む Budgeted Super Networks (BSN) を導入する。
• エッジ上の二値マスク H をパラメータ化された分布 Γ から予測ごとにサンプリングする SS-network を導入して組合せ探索を緩和する。
• 予算付き目的関数を定式化し、予測損失にコストペナルティ λ max(0, C(H ⊙ E) − C̄) を加える。
• θ（モジュールパラメータ）と Γ（エッジサンプリングパラメータ）を同時に更新する方策勾配様の勾配を導出する。
• 確率的問題を解くことで最適な制約解が得られることを示す（命題1）。

実験結果

リサーチクエスチョン

• RQ1 BSN は指定されたコスト予算を満たしつつ精度を維持または向上させるネットワークアーキテクチャを発見できるか？
• RQ2 BSN は計算量、メモリ、分散計算など異なるコストタイプで標準アーキテクチャと比較してどうか？
• RQ3 訓練中に確率的エッジサンプリング法は決定論的で予算適合なアーキテクチャへ収束するか？
• RQ4 発見された予算付きアーキテクチャは CIFAR-10/100 および Part Label segmentation で ResNet/CNF ベースラインと競合するか、優れるか？

主な発見

• BSN は CIFAR-10/ CIFAR-100 で ResNet/CNF ベースラインと同等またはより低いコストでより高い精度を発見できる。
• For CIFAR-10, B-ResNet achieves 92.39% accuracy at 39.25 million FLOPs, outperforming ResNet-20 at 40.9 million FLOPs (92.19%).
• For CIFAR-10, B-CNF achieves notable accuracy improvements at substantially reduced FLOPs versus CNF baselines (e.g., 93.14% at 103 million FLOPs vs CNF 92.54% at 406 million FLOPs).
• On CIFAR-100, budgeted variants attain competitive accuracy with reduced FLOPs compared to standard ResNets and MSDNet baselines.
• BSN learns architectures that can be distributed across multiple cores, revealing parallelized structures when n=2 or n=4 cores are used, and adapts to the given distributed cost.
• The training dynamics show the edge-probabilities become deterministic in the end, indicating convergence to a unique budgeted architecture.