[論文レビュー] Anytime Neural Prediction via Slicing Networks Vertically

Hankook Lee, Jinwoo Shin|arXiv (Cornell University)|Jul 7, 2018

Advanced Neural Network Applications参考文献 2被引用数 14

ひとこと要約

本論文は、マルチブランチResNeXtモデルの縦方向スライシングにより、同じ深さの包含的で細いサブネットワークをトレーニングすることで、いつでもニューラル予測を可能にする新しい深層学習アーキテクチャ、I-ResNeXtおよびIS-ResNeXtを提案する。各サブネットワークごとに独立したバッチ正規化を用い、パラメータにスパarsityパターンを課すことにより、ImageNet上でMSDNetと同等の精度を達成しながら最大43.3%少ないFLOPsを実現した。また、単一パストレーニングが可能で、CIFARおよびImageNetベンチマークにおいて、先行するいつでもモデルを上回る性能を発揮した。

ABSTRACT

The pioneer deep neural networks (DNNs) have emerged to be deeper or wider for improving their accuracy in various applications of artificial intelligence. However, DNNs are often too heavy to deploy in practice, and it is often required to control their architectures dynamically given computing resource budget, i.e., anytime prediction. While most existing approaches have focused on training multiple shallow sub-networks jointly, we study training thin sub-networks instead. To this end, we first build many inclusive thin sub-networks (of the same depth) under a minor modification of existing multi-branch DNNs, and found that they can significantly outperform the state-of-art dense architecture for anytime prediction. This is remarkable due to their simplicity and effectiveness, but training many thin sub-networks jointly faces a new challenge on training complexity. To address the issue, we also propose a novel DNN architecture by forcing a certain sparsity pattern on multi-branch network parameters, making them train efficiently for the purpose of anytime prediction. In our experiments on the ImageNet dataset, its sub-networks have up to $43.3\%$ smaller sizes (FLOPs) compared to those of the state-of-art anytime model with respect to the same accuracy. Finally, we also propose an alternative task under the proposed architecture using a hierarchical taxonomy, which brings a new angle for anytime prediction.

研究の動機と目的

• リソース制約のある環境での深層ニューラルネットワークの導入の課題に対処し、さまざまな計算リソース予算に対応した動的モデル適応を可能にすること。
• 共同トレーニングにおける浅いサブネットワークの根本的限界を克服し、同じ深さの細いサブネットワークをトレーニングすることで実現すること。
• 複数の細いサブネットワークのトレーニング複雑性を、マルチブランチパラメータにスパarsityパターンを導入することで低減し、単一パストレーニングを可能にすること。
• 粗いレベルの予測が低リソース条件下でも性能を維持するという新しいタスク設定—階層的いつでも予測—を検討すること。

提案手法

• マルチブランチResNeXtアーキテクチャから段階的にブランチを削除することで、包含的で細いサブネットワークを構築し、深さを維持する。
• 各サブネットワークに独立したバッチ正規化層を導入し、トレーニングの安定性と性能向上を図る。
• ネットワークパラメータに特定のスパarsityパターンを課すことにより、IS-ResNeXtを提案。これにより、単一の前向き/後向きパスでのトレーニングが可能となり、トレーニング時間をK倍短縮できる。
• サブネットワークが分類ツリー内の粗いラベルを予測できる階層的いつでも損失関数を導入。これにより、低リソース条件下での最悪ケース精度が向上する。
• 強いベースライン性能を保証するため、既存の最先端のマルチブランチアーキテクチャ（例：ResNeXt）をバックボーンとして活用する。

実験結果

リサーチクエスチョン

• RQ1 同じ深さの細く深いサブネットワークは、いつでも予測タスクにおいて浅いサブネットワークを上回ることができるか？
• RQ2 パラメータのスパarsityパターンを導入することで、複数の細いサブネットワークの共同トレーニングを効率化できるか、性能を損なわずに行えるか？
• RQ3 階層的分類ツリーの活用により、低リソース制約下でのいつでも予測のロバスト性が向上するか？
• RQ4 提案アーキテクチャは、MSDNetのような最先端のいつでもモデルと比較して、顕著に少ないFLOPsで高い精度を達成できるか？

主な発見

• CIFAR-10およびCIFAR-100では、I-ResNeXtサブネットワークが、同等の精度でMSDNetと比較して最大56.0%および48.7%少ないFLOPsを達成した。
• ImageNetでは、IS-ResNeXtサブネットワークが、同等の精度でMSDNetサブネットワークと比較して最大43.3%少ないFLOPsを達成したが、フルネットワークの性能は同等を維持した。
• I-ResNeXtのフルネットワークは、元のResNeXtとほぼ同一の精度を維持しており、サブネットワークとの共同トレーニングによる性能劣化がないことが示された。
• IS-ResNeXtアーキテクチャは、単一パスバックプロパゲーションを可能にすることで、I-ResNeXtと比較してK倍速いトレーニングが可能となり、大規模なトレーニングが現実可能になった。
• 階層的いつでも予測において、IS-ResNeXtはCUB-200データセットで最悪ケース精度を31.2%から47.5%まで向上させた。これは、粗いラベルから細かいラベルへの段階的予測が可能になったためである。