[論文レビュー] Constructing Fast Network through Deconstruction of Convolution

Yunho Jeon, Junmo Kim|arXiv (Cornell University)|May 28, 2018

Advanced Neural Network Applications参考文献 14被引用数 23

ひとこと要約

本論文は、パラメータ化されたシフト操作と1×1畳み込みに標準畳み込みを分解する学習可能なシフト操作であるActive Shift Layer (ASL)を提案する。これにより、パラメータ数とFLOPsを顕著に削減できる。バックプロパゲーションによるエンドツーエンド学習により、実数値のシフト量を学習することで、MobileNetV2 やその他の軽量ネットワークを凌駆する最先端の精度を達成し、推論速度も向上する。

ABSTRACT

Convolutional neural networks have achieved great success in various vision tasks; however, they incur heavy resource costs. By using deeper and wider networks, network accuracy can be improved rapidly. However, in an environment with limited resources (e.g., mobile applications), heavy networks may not be usable. This study shows that naive convolution can be deconstructed into a shift operation and pointwise convolution. To cope with various convolutions, we propose a new shift operation called active shift layer (ASL) that formulates the amount of shift as a learnable function with shift parameters. This new layer can be optimized end-to-end through backpropagation and it can provide optimal shift values. Finally, we apply this layer to a light and fast network that surpasses existing state-of-the-art networks.

研究の動機と目的

• モバイルデバイスなどのリソース制約のある環境における深層畳み込みネットワークの高い計算コストとメモリ使用量に対処すること。
• 畳み込みの基本的構成要因を再考することで、精度を損なわずにモデルの複雑さを低減すること。
• 従来の軽量ネットワークで用いられる固定またはヒューリスティックなシフト割り当てを置き換える学習可能なシフトメカニズムを提案すること。
• シフトパラメータのエンドツーエンド学習を可能にすることで、精度と複雑さのトレードオフをより良くすること。

提案手法

• 標準畳み込みを2つの操作に分解する：学習可能なシフト操作の後に1×1ポイントワイド畳み込みを実行する。
• シフト量をパrameter化し、バックプロパゲーションによる最適化が可能なActive Shift Layer (ASL) を導入する。
• 各特徴マップごとに動的にシフト値を決定する学習可能な関数を用い、適応的な受容 field の拡張を実現する。
• 残差ネットワークアーキテクチャ（AS-ResNet）にASLを適用し、軽量で高速かつ高精度なモデルを構築する。
• シフトパラメータとネットワーク重みを同時に最適化するエンドツーエンド学習を採用し、ネットワークが最適なシフト分布を学習できるようにする。
• 初期化戦略（例：一様分布または正規分布）を用いてシフトパラメータを初期化し、学習可能性と実数値シフトの影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みをシフト操作と1×1畳み込みに効果的に分解することで、計算コストを低減できるか？
• RQ2 エンドツーエンド学習によるシフトパラメータの最適化は、ヒューリスティックまたは固定シフト割り当てと比較して性能を向上させるか？
• RQ3 学習可能なシフトメカニズムは、拡張畳み込みやグループ化畳み込みを含むさまざまな種類の畳み込みを効果的にシミュレートできるか？
• RQ4 整数値シフトに比べて、実数値シフトパラメータを用いることで、精度と効率がどの程度向上するか？
• RQ5 ASLを用いたネットワークは、既存の軽量モデルと比較して、より少ないパラメータ数とより高速な推論で最先端の精度を達成できるか？

主な発見

• Active Shift Layer (ASL) は、ImageNetで3.42Mパラメータ、729M FLOPsでトップ1精度72.2%を達成し、同程度の推論時間でMobileNetV2を上回った。
• 実数値シフトパラメータの学習（TR）により、ヒューリスティックなグループ化シフト（GS）と比較して精度が4.3ポイント向上し、学習可能性の利点を示した。
• 実数値シフト（SR）を用いることで、整数値サンプリング（SI）と比較して精度が2.1ポイント向上し、実数への緩和が性能向上に寄与することを示した。
• AS-ResNet-w32モデルは、0.9Mパラメータ、171M FLOPsでトップ1精度64.1%を達成し、複雑さが低くてもShiftNet や SqueezeNet を上回る精度を達成した。
• CPUでは47.9ms、GPUでは6.73msで実行され、MobileNetV2と同等またはそれ以上の推論速度を維持しながら精度でも上回った。
• アブレーションスタディの結果、実数値シフト領域とシフトパラメータのエンドツーエンド学習の両方が、性能向上の鍵であることが確認された。