[論文レビュー] SplitNet: Divide and Co-training.

Shuai Zhao, Liguang Zhou+4 more|arXiv (Cornell University)|Nov 30, 2020

Advanced Neural Network Applications参考文献 41被引用数 5

ひとこと要約

SplitNetは、1つの大きなニューラルネットワークを、同じデータの異なるビューで共同学習を行う複数のより小さな、より狭いネットワークに分割することを提案する。これにより、元の大きなネットワークよりも優れた性能を達成できるが、パラメータ数やFLOPsは増加しない。これは、ネットワーク数の増加が、深さ、幅、解像度を超えた新たなモデルスケーリングの次元であることを示している。

ABSTRACT

The width of a neural network matters since increasing the width will necessarily increase the model capacity. However, the performance of a network does not improve linearly with the width and soon gets saturated. To tackle this problem, we propose to increase the number of networks rather than purely scaling up the width. To prove it, one large network is divided into several small ones, and each of these small networks has a fraction of the original one's parameters. We then train these small networks together and make them see various views of the same data to learn different and complementary knowledge. During this co-training process, networks can also learn from each other. As a result, small networks can achieve better ensemble performance than the large one with few or no extra parameters or FLOPs. \emph{This reveals that the number of networks is a new dimension of effective model scaling, besides depth/width/resolution}. Small networks can also achieve faster inference speed than the large one by concurrent running on different devices. We validate the idea -- increasing the number of networks is a new dimension of effective model scaling -- with different network architectures on common benchmarks through extensive experiments. The code is available at \url{this https URL}.

研究の動機と目的

• 深さ、幅、解像度を超えるスケーリングの次元として、ネットワーク数の増加が有効であることを示す。
• パラメータ数やFLOPsを増加させずに、より小さなネットワークの数を増やすことで、モデル性能を向上させられるかを検証する。
• 同じ入力データの異なる増幅されたビューで複数の狭いネットワークを共同学習させることで、それらが補完的な知識を学習し、一般化性能が向上するかを調査する。
• ネットワーク数が、深さ、幅、解像度と同等に、新たな有効なモデルスケーリングの次元であることを検証する。
• 異なるデバイス上で並列に実行可能なより小さなネットワークを用いることで、高速な推論を実現する。

提案手法

• 元のモデルのパラメータ数の一部をもつ、より小さな、より狭いネットワークに1つの大きなニューラルネットワークを分割する。
• 各ネットワークが同じ入力データの異なる増幅されたビューを処理する共同学習の設定で、小さなネットワークを訓練する。
• 訓練中に知識蒸留と相互学習を可能にし、ネットワーク同士が相互に改善するようにする。
• データ増幅を用いて、同じサンプルの多様なビューを生成し、各ネットワークがデータ分布の異なる側面を学習できるようにする。
• 推論時に、すべての小さなネットワークの予測を統合してアンサンブルモデルを作成し、精度を向上させる。
• 元の大きなネットワークと同一の総FLOPsおよびパラメータ数を維持し、追加の計算コストがないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 同じ容量を持つ単一の広いネットワークを学習するのと比較して、大きなネットワークを複数の小さなネットワークに分割し、異なるデータビューで共同学習させることで、性能が向上するか？
• RQ2 ネットワーク数が、深さ、幅、解像度とは独立して、新たな有効なモデルスケーリングの次元として機能するか？
• RQ3 複数の小さなネットワーク間の共同学習により、それらが補完的な表現を学習し、一般化性能が向上するか？
• RQ4 異なるデバイス上で並列に実行される小さなネットワークのアンサンブルは、単一の大きなネットワークよりも高速な推論速度を達成できるか？
• RQ5 提案手法は、FLOPsとパラメータ数を変更せずに、精度を維持または向上できるか？

主な発見

• SplitNetは、同じパラメータ数とFLOPsを使用しているにもかかわらず、一般的なベンチマークで元の大きなネットワークを上回る性能を達成した。
• 小さなネットワークのアンサンブルは、単一の大きなネットワークを上回り、ネットワーク数を増やすことでモデル容量を効果的に拡張できることを示した。
• 複数のビューでの共同学習により、小さなネットワークは補完的な知識を学習し、一般化性能とロバスト性が向上した。
• 異なるデバイス上で小さなネットワークを並列実行できるため、推論速度が大きなネットワークを上回った。
• この手法は、さまざまなネットワークアーキテクチャやベンチマークで有効であり、新たなスケーリングパラダイムとしての汎用性を検証した。
• 計算コストを増加させずに性能向上が達成されたため、ネットワーク数が実用的で効果的なスケーリング次元であることが確認された。