[論文レビュー] Shapeshifter Networks: Cross-layer Parameter Sharing for Scalable and Effective Deep Learning

Bryan A. Plummer, Nikoli Dryden+3 more|arXiv (Cornell University)|Jun 18, 2020

Multimodal Machine Learning Applications参考文献 47被引用数 8

ひとこと要約

Shapeshifter Networks (SSNs) は、異種の層間で最適なパラメータグループ化を動的に学習するクロスレイヤー・パラメータ共有フレームワークを導入し、顕著なモデル圧縮と一般化性能の向上を実現する。異なるサイズ、演算、モダリティの層に共有重みをマッピングすることにより、SSNs は標準モデルのパラメータのわずか 1% で最先端の性能を達成する。

ABSTRACT

We present Shapeshifter Networks (SSNs), a flexible neural network framework that improves performance and reduces memory requirements on a diverse set of scenarios over standard neural networks. Our approach is based on the observation that many neural networks are severely overparameterized, resulting in significant waste in computational resources as well as being susceptible to overfitting. SSNs address this by learning where and how to share parameters between layers in a neural network while avoiding degenerate solutions that result in underfitting. Specifically, we automatically construct parameter groups that identify where parameter sharing is most beneficial. Then, we map each group's weights to construct layers with learned combinations of candidates from a shared parameter pool. SSNs can share parameters across layers even when they have different sizes, perform different operations, and/or operate on features from different modalities. We evaluate our approach on a diverse set of tasks, including image classification, bidirectional image-sentence retrieval, and phrase grounding, creating high performing models even when using as little as 1% of the parameters. We also apply SSNs to knowledge distillation, where we obtain state-of-the-art results when combined with traditional distillation methods.

研究の動機と目的

• 過大なパラメータ化による計算の無駄と過学習を解消すること。
• 異なるアーキテクチャ、サイズ、モダリティを有する層間で効果的なパラメータ共有を可能にする手法を開発すること。
• 劣化した解（過学習を引き起こす）を引き起こさないよう、有益なパラメータグループ化を自動で学習すること。
• モデルサイズを顕著に削減しながら、多様なタスクでの性能を維持または向上させること。
• パラメータ共有を統合することで、学生モデルの効率性と精度を向上させる知識蒸留を強化すること。

提案手法

• SSNs は、層間で共有が最も有益である場所を特定する動的パラメータグループを学習する。
• 共有パラメータプールを構築し、学習されたグループ化に基づいて重みを個々の層にマッピングする。
• フレームワークは、異なるサイズ、演算、入力モダリティ（例：ビジョンおよび言語特徴）を持つ層間でのパラメータ共有をサポートする。
• 共有重みから層固有のパラメータへのマッピングを学習するための微分可能メカニズムを用い、エンドツーエンドの学習を可能にする。
• 正則化およびアーキテクチャ的制約を通じて、表現能力を保持する形で退化した解を回避する。
• SSNs は知識蒸留パイプラインに統合され、パラメータ共有と知識移譲を組み合わせることで、より優れた学生モデルを実現する。

実験結果

リサーチクエスチョン

• RQ1 サイズや演算が異なる異種の層間で、効果的なパラメータ共有を学習できるか？
• RQ2 性能を損なわせることなく、異なるモダリティ（例：ビジョンおよび言語）間でパラメータ共有を適用できるか？
• RQ3 動的パラメータ共有により、モデルサイズを最大 99% 減少させつつ、精度を維持または向上させられるか？
• RQ4 提案手法は、過大パラメータ化された環境で過学習を引き起こす退化した解を回避できるか？
• RQ5 SSNs は知識蒸留を強化し、圧縮モデル学習における最先端の結果を達成できるか？

主な発見

• SSNs は、標準モデルのパラメータのわずか 1% を使用して、画像分類、双方向的画像・文書検索、フレーズマッピングのタスクで最先端の性能を達成する。
• フレームワークは、異なるサイズ、演算、モダリティ（ビジョンおよび言語特徴を含む）の層間で効果的なパラメータ共有を可能にする。
• SSNs は、標準モデルと比較して競争的または優れた精度を維持しながら、モデルサイズを最大 99% 減少させる。
• 知識蒸留と組み合わせた場合、SSNs は最先端の結果を達成し、効率性と性能の両方を向上させることを示している。
• 学習されたパラメータグループ化を通じて、モデルの表現能力と一般化性能を保持する形で、退化した解を効果的に回避した。