[論文レビュー] Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net

Guorui Zhou, Ying Fan+4 more|arXiv (Cornell University)|Aug 14, 2017

Machine Learning and Data Classification被引用数 40

ひとこと要約

本論文では、複雑な「ブースター」ネットワークがトレーニング中に軽量な「ライトネット」をガイドするヒント損失を用いることで、最小限の推論遅延で最先端の性能を達成できる、普遍的なトレーニングフレームワーク「ロケットランチング」を提案する。この手法は一般化性能と推論効率を向上させ、ベンチマークおよび産業用データセットにおいて、既存の distillation および圧縮手法を上回る性能を発揮する。

ABSTRACT

Models applied on real time response task, like click-through rate (CTR) prediction model, require high accuracy and rigorous response time. Therefore, top-performing deep models of high depth and complexity are not well suited for these applications with the limitations on the inference time. In order to further improve the neural networks' performance given the time and computational limitations, we propose an approach that exploits a cumbersome net to help train the lightweight net for prediction. We dub the whole process rocket launching, where the cumbersome booster net is used to guide the learning of the target light net throughout the whole training process. We analyze different loss functions aiming at pushing the light net to behave similarly to the booster net, and adopt the loss with best performance in our experiments. We use one technique called gradient block to improve the performance of the light net and booster net further. Experiments on benchmark datasets and real-life industrial advertisement data present that our light model can get performance only previously achievable with more complex models.

研究の動機と目的

• リアルタイム産業応用において厳密な遅延制約がある状況で、高精度な深層ニューラルネットワークを実装する課題に対処すること。
• トレーニング中に複雑なブースター ネットワークから連続的な監視を可能にすることで、既存の知識蒸留およびモデル圧縮手法の限界を克服すること。
• 推論時間の増加を伴わずに、軽量ネットワークの性能を向上させる、普遍的でアーキテクチャに依存しないフレームワークを構築すること。
• より深い、より複雑なブースター ネットワークからの階層的特徴表現を活用することで、小規模ネットワークの一般化性能と頑健性を向上させること。

提案手法

• 同じタスク上で、軽量な「ライトネット」と、より深い、より複雑な「ブースター ネット」を、低層部の重みを共有することで、同時にトレーニングする。
• ライトネットの中間活性化がブースター ネットのそれと一致するよう促すヒント損失関数を導入し、トレーニング中に知識移行を可能にする。
• 勾配ブロック技術を適用して、ヒント損失がブースター ネットに逆伝播しないようにし、そのネットワークが正例に基づいて最適化できるようにする。
• ライトネットとブースター ネットの間で、埋め込みまたは特徴抽出バックボーンを共有することで、一貫した低レベル表現学習を保証する。
• 標準的なディープラーニング最適化手法（例：Adam）を用いて、学習率スケジューリングと正則化（例：ドロップアウト）を組み合わせて、過学習を防ぐ。
• 推論時には、訓練済みのライトネットのみをデプロイし、低遅延を維持しながら、フルブースター ネットに近い性能を達成する。

実験結果

リサーチクエスチョン

• RQ1 ブースター ネットからの連続的監視を受けることで、軽量ニューラルネットワークが、はるかに深い、より複雑なモデルと同等の性能を達成できるか？
• RQ2 ヒント損失関数の選択が、知識移行の効率性および最終的なモデル精度にどのように影響するか？
• RQ3 勾配ブロック機構が、知識移行を損なわず、ブースター ネットの性能をどの程度向上させるか？
• RQ4 ロケットランチングフレームワークは、異なるネットワークアーキテクチャおよびデータセット、特に産業規模の広告データに対しても普遍的に適用可能か？
• RQ5 ロケットランチングを他の圧縮または蒸留技術と組み合わせることで、さらなる性能向上が得られるか？

主な発見

• SVHNでは、ベースモデルのテスト誤差を3.58％から2.20％に低下させ、相対的に1.29％の改善を達成した。
• CIFAR-100では、ベースモデルのテスト誤差43.7％を33.0％に低下させ、相対的に10.4％の改善を達成し、他の蒸留手法を上回った。
• 産業規模の広告予測タスクでは、同じ推論遅延のまま、GAUCが0.632から0.635に0.3％向上した。
• ブースター ネット単体では、最高のオフライン指標（GAUC 0.637）を達成したが、1回の推論に23.2 msを要し、オンライン利用には不適切であった。
• ロケットランチングと知識蒸留（rocket+KD）を組み合わせることで、さらなる性能向上が得られ、既存の蒸留技術と互換性があることが示された。
• 勾配ブロック機構は、ブースター ネットの性能劣化を効果的に防止し、依然としてライトネットを効果的にガイドできるようにした。