[論文レビュー] Collaboration of Experts: Achieving 80% Top-1 Accuracy on ImageNet with 100M FLOPs

Yikang Zhang, Zhuo Chen+1 more|arXiv (Cornell University)|Jul 8, 2021

Advanced Neural Network Applications参考文献 42被引用数 7

ひとこと要約

本稿では、ハードウェアに優しいフレームワークであるExpertの協働（CoE）を提案する。CoEは、PWLUおよびCondConvと組み合わせることで、194M FLOPsでImageNetで80.7%のトップ1精度を達成し、100M FLOPsで80.0%の精度を達成する。CoEは、入力ごとにエキスパートを選択するデリゲータを用い、重み生成モジュール（WGM）とラベル生成モジュール（LGM）を介した共同適応トレーニングにより、動的で低遅延な推論を実現する。

ABSTRACT

In this paper, we propose a Collaboration of Experts (CoE) framework to pool together the expertise of multiple networks towards a common aim. Each expert is an individual network with expertise on a unique portion of the dataset, which enhances the collective capacity. Given a sample, an expert is selected by the delegator, which simultaneously outputs a rough prediction to support early termination. To fulfill this framework, we propose three modules to impel each model to play its role, namely weight generation module (WGM), label generation module (LGM) and variance calculation module (VCM). Our method achieves the state-of-the-art performance on ImageNet, 80.7% top-1 accuracy with 194M FLOPs. Combined with PWLU activation function and CondConv, CoE further achieves the accuracy of 80.0% with only 100M FLOPs for the first time. More importantly, our method is hardware friendly and achieves a 3-6x speedup compared with some existing conditional computation approaches.

研究の動機と目的

• 複数回のフォワードパスを要するアンサンブルモデルの高い推論コストを低減すること。
• 動的畳み込み手法が直面する高いメモリアクセスコストと低い並列性という、ハードウェア非効率性を克服すること。
• 一般化性能と効率性を向上させるために、デリゲータと複数のエキスパートの間で共同適応が可能なトレーニングパラダイムを開発すること。
• 最小限のFLOPsで最先端の精度を達成するとともに、実世界の展開に適したハードウェアフレンドリーさを維持すること。
• CoEを画像分類を超えて、ニューラル機械翻訳などの他のタスクへも一般化できることを示すこと。

提案手法

• 1つのデリゲータと複数のエキスパートを備えたCoEフレームワークを導入し、デリゲータが粗い予測を行い、それをもとにエキスパートを選択して精緻化を行う。
• 重み生成モジュール（WGM）を用いてバランスの取れた輸送問題を解き、デリゲータの出力に基づいてトレーニングデータを分割し、エキスパートの損失を再重み付けすることで、各エキスパートが異なるデータサブセットに特化させる。
• ラベル生成モジュール（LGM）を用いて、バランスの取れた輸送問題を通じてone-hot選択ラベルを生成し、デリゲータのエキスパート選択に対する監視信号を形成する。
• WGMがエキスパートがデータの一部に特化することを保証し、LGMがデリゲータが最も適したエキスパートを選択するように誘導する共同適応により、デリゲータとエキスパートを同時にトレーニングする。
• PWLUやCondConvなどの既存技術とCoEを統合することで、FLOPsの増加を最小限に抑えつつ精度をさらに向上させる。
• 推論時に選択されたエキスパートのみをロードすることで、ハードウェア効率を向上させ、メモリアクセスコストを低減し、並列性を最大化する。

実験結果

リサーチクエスチョン

• RQ1 協働型エキスパートフレームワークは、低FLOPs消費とハードウェア効率性を維持しながら、高い精度を達成できるか？
• RQ2 トレーニング中にデリゲータとエキスパートをどのように共同適応させれば、過学習を回避し一般化性能を向上させられるか？
• RQ3 デリゲータが学習したエキスパート選択パターンは、意味のあるサンプル複雑度（例：より難しいサンプルに重いエキスパートを割り当てる）を反映しているか？
• RQ4 CoEは画像分類を超えて、ニューラル機械翻訳などの他のタスクにも一般化可能か？
• RQ5 ゲート値ベースの最適化と比較して、提案されたトレーニングアルゴリズムは、精度と効率性の面で優れているか？

主な発見

• CoEは、194M FLOPsでImageNetで80.7%のトップ1精度を達成し、アンサンブル手法（920M FLOPsで79.6%）を顕著に上回る。
• CoEをPWLUおよびCondConvと組み合わせることで、100M FLOPsで80.0%のトップ1精度を達成した。これは、文献上、初めての結果である。
• CoEは、最先端の動的手法BasisNet（198M FLOPsで80.0%）を上回り、低いメモリアクセスコストのおかげでハードウェア上で3.1倍の高速化を達成した。
• WMT 2014英語＝ドイツ語翻訳タスクにおいて、CoE-Transformerは62.5M MACと138.2Mパラメータで29.4 BLEUを達成し、Transformer（big）と同等の性能を発揮したが、より少ないリソースを要した。
• 分析の結果、デリゲータは解釈可能な選択パターンを学習していることが示された：より複雑なサンプル（TCPで測定）には重いエキスパートが選ばれる傾向にあり、効果的な特化が実現している。
• アブレーションスタディの結果、WGMとLGMの両方の必要性が確認された。いずれかを削除すると、精度が1.9～2.9ポイント低下し、両者の共適応における重要性が示された。