[論文レビュー] ExpandNets: Linear Over-parameterization to Train Compact Convolutional Networks

Shuxuan Guo, José M. Alvarez+1 more|arXiv (Cornell University)|Nov 26, 2018

Advanced Neural Network Applications参考文献 66被引用数 9

ひとこと要約

ExpandNetsは、各線形層を非線形性のない複数の連続する線形層に拡張することで、コンパクトな畳み込みニューラルネットワークのための新しいトレーニング手法を提案する。これにより、推論時に元のコンパクトなネットワークに戻す代数的縮約が可能となり、最適化と一般化が向上する。画像分類、物体検出、セマンティックセグメンテーションのタスクにおいて、トレーニングから再開する方法や知識蒸留法を上回る性能を発揮する。

ABSTRACT

We introduce an approach to training a given compact network. To this end, we leverage over-parameterization, which typically improves both neural network optimization and generalization. Specifically, we propose to expand each linear layer of the compact network into multiple consecutive linear layers, without adding any nonlinearity. As such, the resulting expanded network, or ExpandNet, can be contracted back to the compact one algebraically at inference. In particular, we introduce two convolutional expansion strategies and demonstrate their benefits on several tasks, including image classification, object detection, and semantic segmentation. As evidenced by our experiments, our approach outperforms both training the compact network from scratch and performing knowledge distillation from a teacher. Furthermore, our linear over-parameterization empirically reduces gradient confusion during training and improves the network generalization.

研究の動機と目的

• コンパクトな畳み込みニューラルネットワークを、トレーニングから再開するのではなく、より効果的に訓練する課題に対処すること。
• 線形過パラメータ化が、コンパクトなネットワークにおけるトレーニングダイナミクスと一般化を向上させるかどうかを調査すること。
• 拡張を経て代数的縮約を行うことで、性能損失なしにコンパクトなネットワークを訓練する手法を開発すること。
• 線形過パラメータ化が勾配の混同を軽減し、最適化を改善することを示すこと。
• 知識蒸留の代替手段として、実用的で即座に使えるコンパクトモデルのトレーニング手法を提供すること。

提案手法

• コンパクトネットワークの各線形層を、非線形性のない複数の連続する線形層に展開する。
• 3つの異なる拡張戦略を用いる: (i) k×k畳み込みを1×1、k×k、1×1畳み込みに置き換える；(ii) 大きなカーネル（3×3より大きい）を複数の3×3畳み込みに置き換える；(iii) 全結合層を複数の線形層に展開する。
• 線形層の連鎖を1つの等価な線形変換に代数的に縮約することで、拡張ネットワークと元のコンパクトネットワークとの等価性を維持する。
• 畳み込みの行列-ベクトル表現を活用し、標準的な行列乗算を用いて拡張された層の等価重み行列を計算する。
• PyTorchのテンソル演算を用いて拡張と縮約を実装し、数値的に等価であり、計算オーバーヘッドを最小限に抑える。
• 拡張ネットワーク（ExpandNet）をエンドツーエンドでトレーニングし、その後推論用に元のアーキテクチャに戻す。

実験結果

リサーチクエスチョン

• RQ1 コンパクトな畳み込みネットワークに対して線形過パラメータ化を適用することで、トレーニングから再開する場合と比較してトレーニング性能が向上するか？
• RQ2 線形過パラメータ化は、コンパクトなネットワークにおける最適化中に勾配の混同を軽減するか？
• RQ3 コンパクトなネットワークをトレーニングする際、ExpandNetsは知識蒸留法を上回る性能を発揮するか？
• RQ4 拡張戦略の選択（例：カーネルサイズの置換）が、最終的なコンパクトモデルの性能にどのように影響するか？
• RQ5 線形過パラメータ化は、コンパクトなネットワークにおける一般化と損失関数の形状特性にどの程度向上をもたらすか？

主な発見

• ExpandNetsは、ImageNet、PASCAL VOC、Cityscapesのベンチマークにおいて、画像分類、物体検出、セマンティックセグメンテーションの全タスクで、コンパクトネットワークをトレーニングから再開する方法を上回る性能を発揮する。
• ExpandNetsは、より大きな教師ネットワークからの知識蒸留法を上回る性能を、全評価タスクで達成する。
• 拡張ネットワークでは、層間の勾配がより安定し、相関が低くなることで、トレーニング中に勾配の混同が軽減されていることが実証された。
• 線形過パラメータ化により、より平坦な損失関数の形状が得られ、一般化性能の向上と相関する。
• この手法は、さまざまなネットワークアーキテクチャやタスクに有効であり、特に大きなカーネルを複数の3×3畳み込みに置き換えるカーネルサイズ拡張戦略が顕著に有益である。
• 拡張ネットワークの代数的縮約により、元のモデルのパラメータと推論動作が数値誤差1e-5未満で正確に保持された。