[論文レビュー] Deep Mixture of Experts via Shallow Embedding

Xin Wang, Fisher Yu+6 more|arXiv (Cornell University)|Jun 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 45被引用数 27

ひとこと要約

この論文では、浅い埋め込みネットワークとマルチヘッドスパースゲーティングを用いて、畳み込みネットワーク内のチャネル単位特徴を動的にスパース化および再キャリブレーションする、深層混合エキスパート（DeepMoE）アーキテクチャを提案する。スパarsityと多様性正則化を組み合わせた共同学習により、ベースネットワーク、埋め込みネットワーク、ゲーティングネットワークを最適化することで、計算量を削減しつつ標準ネットワークを上回る精度を達成し、ImageNetでResNetを1%上回るトップ1精度を実現しながら、FLOPsを低く保っている。

ABSTRACT

Larger networks generally have greater representational power at the cost of increased computational complexity. Sparsifying such networks has been an active area of research but has been generally limited to static regularization or dynamic approaches using reinforcement learning. We explore a mixture of experts (MoE) approach to deep dynamic routing, which activates certain experts in the network on a per-example basis. Our novel DeepMoE architecture increases the representational power of standard convolutional networks by adaptively sparsifying and recalibrating channel-wise features in each convolutional layer. We employ a multi-headed sparse gating network to determine the selection and scaling of channels for each input, leveraging exponential combinations of experts within a single convolutional network. Our proposed architecture is evaluated on four benchmark datasets and tasks, and we show that Deep-MoEs are able to achieve higher accuracy with lower computation than standard convolutional networks.

研究の動機と目的

• 畳み込みネットワークにおける例固有の動的特徴ルーティングを可能にする深層混合エキスパート（DeepMoE）アーキテクチャの設計。
• 深層MoEスタックにおける非微分可能エキスパート選択と退化するエキスパートの組み合わせの課題の解決。
• スパarsityとチャネル単位再キャリブレーションを通じて、計算コストを低減しつつ深層ネットワークの表現力の維持。
• 画像分類およびセマンティックセグメンテーションタスクにおいて、標準畳み込みネットワークおよび先行MoE手法を上回るモデルの精度と効率の向上。

提案手法

• 固定されたエキスパート集合に対して潜在的な混合重みを生成する、ソフトマックス出力層を備えた浅い埋め込みネットワーク。
• これらの潜在的重みが、ReLU活性化関数を用いたマルチヘッドスパースゲーティングネットワークに供給され、各畳み込み層のチャネルを選択および再重み付けする。
• 埋め込みネットワークにおける補助分類損失と、ゲーティングネットワーク出力におけるスパース正則化を用いて、多様性とスパarsityを促進する共同学習を実施。
• 2つの変種を導入：ワイド-DeepMoE（チャネル数を倍増させ、層をMoEに置換）とナロー-DeepMoE（標準層をMoEに直接置換）。
• アーキテクチャにより、入力ごとに特徴を動的に例固有にルーティング可能となり、各入力に対してチャネルの部分集合のみが計算される。
• 理論的分析により、DeepMoEは計算量を削減しつつも、深層ネットワークのスーパー指数的表現力の特性を保持していることが示された。

実験結果

リサーチクエスチョン

• RQ1 非微分可能なエキスパート選択があるにもかかわらず、深層混合エキスパートアーキテクチャをエンドツーエンドで共同学習可能か？
• RQ2 スパースゲーティングによる動的でチャネル単位のルーティングは、深層ネットワークの計算コストを削減しつつ精度を向上させるか？
• RQ3 提案された浅い埋め込みネットワークは、層全体にわたる安定的で多様なエキスパート利用にどのように寄与するか？
• RQ4 DeepMoEは画像分類をはるかに超えて、セマンティックセグメンテーションのような密予測タスクにも効果的に一般化可能か？
• RQ5 アーキテクチャ設計の選択（例：ワイドニング戦略、層配置）は、モデルの精度と効率にどのような影響を与えるか？

主な発見

• DeepMoEは、ImageNet2012ベンチマークでResNetを上回る1%の高いトップ1精度を達成しながら、FLOPsを削減した。
• CityScapesでは、効率的なワイド-DeepMoE-50-Aバージョンが、FLOPsのわずかな増加でベースライン比1.5%のmIoU向上を達成した。
• より高い精度を示すワイド-DeepMoE-50-Bバージョンは、FLOPsを低く保ちながら、ワイドベースラインをほぼ2%上回るmIoUを達成した。
• すべての畳み込み層をワイドニング（W13-All）した場合、パrameter数が同一であっても、上部または下部の層のみをワイドニングする場合よりも高い精度が得られた。
• FLOPsとパrameter数の両方を制御することで、すべてのワイドニング戦略で精度が向上し、W13-Allが最も優れたパフォーマンスを示した。
• 埋め込みネットワークおよびゲーティングネットワークの挙動の分析により、提案アーキテクチャがデータ内の粗いクラス構造を効果的に解消していることが示された。