[論文レビュー] MutualNet: Adaptive ConvNet via Mutual Learning from Network Width and Resolution

Taojiannan Yang, Sijie Zhu+4 more|arXiv (Cornell University)|Sep 27, 2019

Advanced Neural Network Applications参考文献 46被引用数 4

ひとこと要約

MutualNetは、相互学習を用いてネットワーク幅と入力解像度を同時に最適化する画期的なアダプティブ畳み込みネットワークを提案する。これにより、推論時に動的かつ精度と効率のトレードオフを実現できる。ImageNetではEfficientNet-B7を1.5%上回るトップ1精度を達成し、FLOP制約のすべての条件下でUS-Netを上回り、ImageNetにおける単一ネットワークの精度を77.6%まで向上させた。これはGPU探索時間ゼロで達成された。

ABSTRACT

We propose the width-resolution mutual learning method (MutualNet) to train a network that is executable at dynamic resource constraints to achieve adaptive accuracy-efficiency trade-offs at runtime. Our method trains a cohort of sub-networks with different widths using different input resolutions to mutually learn multi-scale representations for each sub-network. It achieves consistently better ImageNet top-1 accuracy over the state-of-the-art adaptive network US-Net under different computation constraints, and outperforms the best compound scaled MobileNet in EfficientNet by 1.5%. The superiority of our method is also validated on COCO object detection and instance segmentation as well as transfer learning. Surprisingly, the training strategy of MutualNet can also boost the performance of a single network, which substantially outperforms the powerful AutoAugmentation in both efficiency (GPU search hours: 15000 vs. 0) and accuracy (ImageNet: 77.6% vs. 78.6%). Code is available at \url{https://github.com/taoyang1122/MutualNet}.

研究の動機と目的

• 既存のアダプティブネットワークがネットワーク幅や入力解像度を個別に最適化するため、動的リソース制約下で最適でない精度-効率トレードオフが生じるという限界に対処すること。
• 1つの学習フレームワーク内でネットワーク幅と入力解像度を統合的学習次元として扱い、推論時に動的適応を可能にすること。
• アーキテクチャの変更なしに、さまざまなアーキテクチャ、データセット、タスクで性能を向上させる汎用的かつモデルに依存しない学習手法を開発すること。
• 相互学習メカニズムが、AutoAugmentation や知識蒸留と同様の手法を凌駕する単一ネットワーク性能を向上させる強力な独立した学習戦略として機能できることを示すこと。

提案手法

• MutualNetは、同じバックボーン重みを共有する複数のサブネットワークを、幅と解像度が異なる設定で一括して学習する。
• 各サブネットワークは異なる入力解像度と幅設定を受け取り、共有パラメータを通じて多様なスケール構成間での知識蒸留を実現する。
• フレームワークはマルチスケール監視戦略を採用し、各サブネットワークが自身の幅と解像度に加え、他のサブネットワークの知識からも表現を学習する。
• 相互学習の目的関数は、幅と解像度の多様性を持つ共有エンコーダーを介して実装され、バックプロパゲーション中に異なるサブネットワークの特徴マップがアライメントされ、知識が交換される。
• 学習プロセスは、データオーグメンテーションや知識蒸留などの他の技術と直交しており、それらと組み合わせてさらなる性能向上が可能である。
• この手法はモデルに依存せず、アーキテクチャの変更なしに任意の畳み込みネットワークに適用可能であり、プラグアンドプレイでの導入が可能である。

実験結果

リサーチクエスチョン

• RQ1 学習時にネットワーク幅と入力解像度を同時に最適化することで、それらを個別に最適化する場合よりも、より優れた精度-効率トレードオフが達成できるか？
• RQ2 幅と解像度の構成間での相互学習は、多様な推論環境下での一般化性とロバスト性を向上させるか？
• RQ3 相互学習フレームワークは、AutoAugmentation や知識蒸留といった既存手法を凌駕する単一ネットワーク性能を向上させる強力な独立した学習戦略として機能できるか？
• RQ4 画像分類、オブジェクト検出、インスタンスセグメンテーション、および転移学習を含むさまざまなタスクにおいて、このフレームワークはどのように性能を発揮するか？
• RQ5 将来的に、この相互学習メカニズムを深さやビット幅などの他のネットワーク次元へ一般化できるか？

主な発見

• ImageNetでは、MutualNetは77.6%のトップ1精度を達成し、GPU探索時間ゼロ（15,000 vs. 0）でAutoAugmentation（78.6%）を上回った。
• ImageNetにおいて、同じFLOP制約下で、MutualNetはEfficientNetの最良のコンパoundスケーリングされたMobileNetを1.5%高いトップ1精度で上回った。
• ImageNetにおけるFLOPレベルのすべてで、MutualNetはUS-Netを顕著に上回り、一貫して優れた精度-FLOPs曲線を示した。
• COCOオブジェクト検出およびインスタンスセグメンテーションにおいて、MutualNetはすべてのFLOPレベルでUS-Netよりも高い平均平均精度（AP）を達成し、小規模および大規模オブジェクトに対して優れたロバスト性を示した。
• Cifar-100、Food-101、MIT-Indoor67における転移学習において、MutualNetはすべてのデータセットでUS-NetおよびMobileNet v1を一貫して上回る精度を達成した。
• アブレーションスタディの結果、相互学習方式が有効であることが確認され、また、AutoAugmentation や知識蒸留といった他の技術と直交的かつ併用可能であることも示された。