[論文レビュー] Multiple Networks are More Efficient than One: Fast and Accurate Models via Ensembles and Cascades.

Xiaofang Wang, Dan Kondratyuk+3 more|arXiv (Cornell University)|Dec 3, 2020

Advanced Neural Network Applications参考文献 7被引用数 7

ひとこと要約

本稿では、アンサンブルおよびカスケードモデルが、アーキテクチャ探索を必要とせず、単一のニューラルネットワークよりも精度と効率性に優れることを提案している。並列（アンサンブル）または逐次（カスケード）に複数のモデルを組み合わせることで、特に高計算量の環境において、大規模な単独モデルよりも少ない計算量でより高い精度を達成する。

ABSTRACT

Recent work on efficient neural network architectures focuses on discovering a solitary network that can achieve superior computational efficiency and accuracy. While this paradigm has yielded impressive results, the search for novel architectures usually requires significant computational resources. In this work, we demonstrate a simple complementary paradigm to obtain efficient and accurate models that requires no architectural tuning. We show that committee-based models, i.e., ensembles or cascades of models, can easily obtain higher accuracy with less computation when compared to a single model. We extensively investigate the benefits of committee-based models on various vision tasks and architecture families. Our results suggest that in the large computation regime, model ensembles are a more cost-effective way to improve accuracy than using a large solitary model. We also find that the computational cost of an ensemble can be significantly reduced by converting them to cascades, while often retaining the original accuracy of the full ensemble.

研究の動機と目的

• 委員会ベースのモデル（アンサンブルまたはカスケード）が、単一のニューラルネットワークよりも優れた効率性と精度のトレードオフを達成できるかどうかを調査すること。
• このような委員会モデルが、広範なアーキテクチャ探索やハイパーパramータチューニングの必要性を低減できるかどうかを検討すること。
• 多様なビジョンタスクおよびアーキテクチャファミリーにおいて、アンサンブルとカスケードの計算コストと精度を評価すること。
• カスケードモデルが、推論コストを削減しつつもアンサンブルレベルの精度を維持できるかどうかを特定すること。
• 高計算量の環境において、委員会モデルが大規模で単独のモデルと比較してコスト効率が良いかどうかを評価すること。

提案手法

• 同じアーキテクチャファミリーに属する複数の事前学習済みモデルの予測を組み合わせることで、モデルアンサンブルを構築する。
• 軽量なモデルを用いて簡単なサンプルをフィルタリングし、難易度の高いサンプルのみを重いモデルに渡すことで、モデルカスケードを実装する。
• 異なる微分可能ルーティング機構を用いて、エンドツーエンドでカスケードを最適化し、主モデルおよび補助モデルの両方を最適化する。
• 画像分類やオブジェクト検出などの複数のビジョンタスクおよびResNetsやEfficientNetsなどのアーキテクチャファミリーで性能を評価する。
• 同等のFLOPsを持つ単一モデルと比較して、アンサンブルおよびカスケードの推論速度、FLOPs、精度を比較する。
• 知識蒸留およびモデルプルーニングを用いて、精度を損なわずにカスケードの計算フットプリントをさらに削減する。

実験結果

リサーチクエスチョン

• RQ1 委員会ベースのモデル（アンサンブルまたはカスケード）は、同等または低いFLOPsで単一モデルよりも高い精度を達成できるか？
• RQ2 計算予算が大きい場合に、アンサンブルによる精度向上は持続可能か？また、単一モデルをスケーリングするのと比べてどうなるか？
• RQ3 カスケードは、アンサンブルの推論コストをどの程度削減できるか？また、その精度を保持できるか？
• RQ4 カスケードの性能はベースモデルの選択に依存するか？また、モデルの多様性が結果に与える影響は？
• RQ5 高計算量の環境において、アンサンブルアプローチは大規模な単一モデルを訓練するのと比較して、よりコスト効率が良いか？

主な発見

• アンサンブルは、特に高FLOP環境において、計算コストを維持または削減しつつ、単一モデルを常に上回る精度を達成する。
• カスケードは、完全なアンサンブルの推論コストを最大50％まで削減しつつ、元のアンサンブルの精度を保持する。
• カスケードの精度は、同等のFLOPsを持つ単一の大規模モデルと同等またはそれを上回ることが多い。
• 計算リソースが豊富な状況では、アンサンブルによる性能向上が、単一モデルのスケーリングよりもコスト効率が良い。
• カスケードは、カスケードの最初のモデルが十分に正確で、簡単な例を効果的にフィルタリングできる場合に特に効果的である。
• 本アプローチは、アーキテクチャ探索やハイパーパramータチューニングを必要とせず、カスタムアーキテクチャ設計の即挿し可能な代替手段である。