[論文レビュー] IamNN: Iterative and Adaptive Mobile Neural Network for Efficient Image Classification

Sam Leroux, Pavlo Molchanov+4 more|arXiv (Cornell University)|Apr 26, 2018

Advanced Neural Network Applications参考文献 10被引用数 23

ひとこと要約

IamNNは、残差ブロック間でのパラメータ共有と適応的計算時間（ACT）を組み合わせることで、画像分類のための軽量で適応的な深層ニューラルネットワークを提案する。これにより、モデルサイズと計算コストを顕著に削減しつつ、競争力のある精度を維持できる。アーキテクチャは共有重みを用いた反復的精錬を実行し、入力ごとに推論の複雑さを動的に調整する。ImageNet上ではパラメータを90%削減し、FLOPsを最大65%まで削減するが、トップ5精度はわずかに低下する。

ABSTRACT

Deep residual networks (ResNets) made a recent breakthrough in deep learning. The core idea of ResNets is to have shortcut connections between layers that allow the network to be much deeper while still being easy to optimize avoiding vanishing gradients. These shortcut connections have interesting side-effects that make ResNets behave differently from other typical network architectures. In this work we use these properties to design a network based on a ResNet but with parameter sharing and with adaptive computation time. The resulting network is much smaller than the original network and can adapt the computational cost to the complexity of the input image.

研究の動機と目的

• モバイルおよびエッジデプロイメントを想定した深層ニューラルネットワークにおけるモデルサイズと計算コストの低減。
• ResNetの反復的精錬動作を活用し、層間でのパラメータ共有を可能にする。
• 適応的計算時間（ACT）を用いて入力ごとに計算量を動的に調整し、簡単な画像に対してFLOPsを削減する。
• 顕著なモデル圧縮と変動する計算量にもかかわらず高い精度を維持する。
• 複数の残差ユニットを1つの共有ブロックに置き換え、反復的に特徴を精錬する手法の可能性を検討する。

提案手法

• 各ResNetブロックを、同じ重みを複数の反復にわたって使用する1つの共有処理ブロックに置き換える。
• 特徴の精錬を蓄積するための状態バッファを導入し、初期値をゼロとする。各反復で処理ブロックの出力を状態に加算する。
• 各反復の前に、元のブロック入力と現在の状態を連結することで、入力コンテキストを保持する。
• 入力の複雑さに基づいて必要な反復回数を決定する適応的計算時間（ACT）機構を導入する。
• 反復回数を制御する学習可能なゲートを定式化し、各反復における重みの合計が1になるように保証する。
• 処理ブロックにはバッチノーマライゼーションとReLU活性化関数を併用したボトルネック型の1x1および3x3畳み込みを用いる。

実験結果

リサーチクエスチョン

• RQ1 ResNetに類似したアーキテクチャにおいて、残差ブロック間でのパラメータ共有が、モデルサイズを大幅に削減しながらも精度を維持または向上できるか？
• RQ2 適応的計算時間（ACT）を前向きの畳み込みネットワークに効果的に適用し、平均的なFLOPsを削減できるか？
• RQ3 共有重みを用いた反復的精錬が、多様な画像複雑度にわたって堅牢で汎用性の高い特徴表現をもたらすか？
• RQ4 パラメータ共有と適応的推論を備えたネットワークの性能は、標準のResNetやMobileNet、ShuffleNetなどの効率的アーキテクチャと比べてどうか？
• RQ5 ネットワークが入力ごとに計算量を動的に調整できる能力が、入力画像の難易度とどの程度相関しているか？

主な発見

• CIFAR10とCIFAR100において、IamNNはResNet101と比較してパラメータを90%削減し、それぞれ450万と460万パラメータを達成した。
• CIFAR10ではトップ1精度が94.6%に達し、ResNet101の93.8%をわずかに上回った。これは重み共有による正則化効果による可能性が高い。
• CIFAR100ではトップ1精度が77.8%に達したが、ResNet101の79.3%から1.5%低下しており、大規模データセットではトレードオフが顕在化した。
• ImageNetでは、パラメータを90%（6000万から500万）削減し、FLOPsを65%（平均で115億から40億）削減した。トップ5精度は89.0%であり、ResNet152の93.3%と比較してやや低かった。
• ネットワークは画像ごとに計算量を適応的に調整する：CIFAR10ではFLOPsが0.7Gから2Gの範囲、ImageNetでは2.5Gから9Gの範囲に変動した。
• 各ブロックで1回の反復に制限した場合、IamNNのトップ5精度は83.2%に低下し、反復的精錬が性能に不可欠であることが確認された。