[論文レビュー] Group Ensemble: Learning an Ensemble of ConvNets in a single ConvNet

Hao Chen, Abhinav Shrivastava|arXiv (Cornell University)|Jul 1, 2020

Advanced Neural Network Applications参考文献 62被引用数 13

ひとこと要約

この論文は、共有ベースとグループ化畳み込みを用いたマルチヘッド構造により、1つの畳み込みネットワーク（ConvNet）内に明示的なConvNetアンサンブルを埋め込む新規アーキテクチャ、Group Ensemble Network（GENet）を提案する。グループ平均化、 Wagging、またはブースティングによるアンサンブルメンバーの独立した学習と集約を可能にすることで、FLOPs やパラメータ数を増加させることなくImageNet、CIFAR、アクション認識、オブジェクト検出の各タスクで最先端の性能を達成した。特にResNeXt-50ではトップ-1誤差を1.83%低減した。

ABSTRACT

Ensemble learning is a general technique to improve accuracy in machine learning. However, the heavy computation of a ConvNets ensemble limits its usage in deep learning. In this paper, we present Group Ensemble Network (GENet), an architecture incorporating an ensemble of ConvNets in a single ConvNet. Through a shared-base and multi-head structure, GENet is divided into several groups to make explicit ensemble learning possible in a single ConvNet. Owing to group convolution and the shared-base, GENet can fully leverage the advantage of explicit ensemble learning while retaining the same computation as a single ConvNet. Additionally, we present Group Averaging, Group Wagging and Group Boosting as three different strategies to aggregate these ensemble members. Finally, GENet outperforms larger single networks, standard ensembles of smaller networks, and other recent state-of-the-art methods on CIFAR and ImageNet. Specifically, group ensemble reduces the top-1 error by 1.83% for ResNeXt-50 on ImageNet. We also demonstrate its effectiveness on action recognition and object detection tasks.

研究の動機と目的

• ディープラーニングにおける明示的モデルアンサンブルの高い計算コストを低減しつつ、その性能上の利点を維持すること。
• バギング、ブースティング、スタッキングなどの明示的アンサンブル学習（e.g. bagging, boosting, stacking）を1つのConvNetアーキテクチャ内で実現すること。
• 精度を損なわず、アンサンブルモデルの推論および学習コストを低減すること。
• 統合的でエンドツーエンド微分可能なフレームワーク内での効率的な集約戦略（グループ平均化、Wagging、ブースティング）の検討。
• 画像分類、アクション認識、オブジェクト検出を含む多様なビジョンタスクへの一般化の検証。

提案手法

• GENetは、下流層がアンサンブルメンバー間で共有され、上流層（分類器を含む）がグループ化されて独立して学習される、共有ベースでマルチヘッドなアーキテクチャを採用する。
• グループ化畳み込みを用いることで、マルチヘッド構造を効率的に実装し、初期層でのパラメータ共有と後続層での独立学習を可能にする。
• 3つの集約戦略を導入する：グループ平均化（アンサンブル平均化）、グループWagging（学習データの確率的摂動）、グループブースティング（残差学習を用いた逐次学習）。
• ミニバッチSGDを用いたエンドツーエンド学習により、すべてのアンサンブルメンバーを同時に最適化可能であり、単一ConvNetと同等のFLOPsとパラメータ数を維持する。
• 異なるConvNetインスタンスが類似した低レベル特徴に収束するという経験的知見を活用し、共有ベース設計の妥当性を裏付ける。
• 画像、動画、オブジェクト検出ベンチマークにおいて、ResNet、ResNeXt、I3Dモデルにこのアーキテクチャを適用した。

実験結果

リサーチクエスチョン

• RQ1 計算コストを増加させることなく、明示的アンサンブル学習を1つのConvNetに効果的に統合できるか？
• RQ2 共有ベースとマルチヘッド設計は、パラメータ効率性とアンサンブル手法による性能向上を両立できるか？
• RQ3 平均化、Wagging、ブースティングといった異なるアンサンブル集約戦略が、統合的単一モデルフレームワーク内でどのように性能を発揮するか？
• RQ4 提案されたGroup Ensemble Networkは、より大きな単一モデルや標準アンサンブルを上回る性能を標準ベンチマークで示せるか？
• RQ5 本手法は、画像分類、アクション認識、オブジェクト検出といった多様なビジョンタスクに一般化可能か？

主な発見

• ResNeXt-50ではImageNetでトップ-1誤差を1.83%低減し、2つのResNeXt-50モデルをアンサンブルした標準アンサンブルを上回った。
• CIFAR-10では、490万パラメータと0.76G FLOPsでテスト誤差3.95%を達成し、標準アンサンブルおよびより大きな単一モデルを上回った。
• アクション認識タスクでは、グループWaggingがグループ平均化を上回り、Something-Somethingでは3%、Kinetics-200では1.4%の精度向上を達成した。
• COCO 2017オブジェクト検出タスクでは、パラメータ数に変化がなく、APが1.0ポイント、AP75が1.54%向上した。
• GENetは、FLOPsとパラメータ数を単一ConvNetと同等に保ちながら、ImageNetおよびCIFARで最先端の性能を達成した。
• 画像分類、アクション認識、オブジェクト検出を含む多様なタスクで一貫した性能向上を示し、一般化可能性と効率性を裏付ける結果を得た。