[論文レビュー] Rocket Launching: A unified and effecient framework for training well-behaved light net

Guorui Zhou, Ying Fan+4 more|arXiv (Cornell University)|Aug 14, 2017

Machine Learning and Data Classification被引用数 2

ひとこと要約

本稿では、トレーニング全体を通じて事前に訓練された複雑な「ブースターネット」を教師として活用することで、軽量ニューラルネットワーク（ライトネット）を統合的に訓練するフレームワーク「ロケットランチング」を提案する。最適化された損失関数を用いた知識蒸留と勾配ブロッキングを組み合わせることで、ライトネットはより深いモデルと同等の性能を達成しつつ、低遅延の推論を維持する。この有効性はベンチマークおよび産業的広告CTR予測データセットで検証された。

ABSTRACT

Models applied on real time response task, like click-through rate (CTR) prediction model, require high accuracy and rigorous response time. Therefore, top-performing deep models of high depth and complexity are not well suited for these applications with the limitations on the inference time. In order to further improve the neural networks' performance given the time and computational limitations, we propose an approach that exploits a cumbersome net to help train the lightweight net for prediction. We dub the whole process rocket launching, where the cumbersome booster net is used to guide the learning of the target light net throughout the whole training process. We analyze different loss functions aiming at pushing the light net to behave similarly to the booster net, and adopt the loss with best performance in our experiments. We use one technique called gradient block to improve the performance of the light net and booster net further. Experiments on benchmark datasets and real-life industrial advertisement data present that our light model can get performance only previously achievable with more complex models.

研究の動機と目的

• リアルタイム応用において厳密な遅延制約を満たす高精度な深層ニューラルネットワークの導入課題に対処すること。
• モデルの深さや複雑さを増さずに、軽量ニューラルネットワークの性能を向上させること。
• トレーニング中により複雑で高性能な「ブースターネット」の挙動を模倣できるように、ライトネットを訓練するフレームワークを開発すること。
• ライトネットの予測をブースターネットの出力と密接に一致させるように損失関数を最適化すること。
• 新規の勾配ブロッキング技術を用いて、トレーニングの安定性と性能を向上させること。

提案手法

• 高容量の「ブースターネット」を教師モデルとして訓練し、軽量なターゲットネットのための監督信号を生成する。
• ライトネットがブースターネットの出力分布を再現するように促す損失関数を最小化することで、知識蒸留を実施する。
• ライトネットの挙動をブースターネットに合わせるための複数の損失関数候補の中から最も効果的なものを評価・選定する。
• トレーニングの安定性を高め、ライトネットへの勾配の流れを改善するために、勾配ブロッキング機構を導入する。
• ブースターネットの予測結果を監督信号として用い、トレーニング中に追加の推論を必要とせずに、ライトネットをエンドツーエンドで訓練する。
• ベンチマークおよび産業スケールの広告データセットを用いて、リアルタイムCTR予測タスクにこのフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 高容量の「ブースターネット」の指導のもとで訓練された軽量ニューラルネットワークは、はるかに深い複雑なモデルと同等の性能を達成できるか？
• RQ2 知識蒸留の過程で、ライトネットの予測をブースターネットの出力と最もよく一致させる損失関数はどれか？
• RQ3 勾配ブロッキング技術は、ライトネットのトレーニングダイナミクスと最終的な性能にどのように寄与するか？
• RQ4 提案されたフレームワークは、リアルタイム応用において予測精度を維持しつつ、どれほど推論遅延を低減できるか？
• RQ5 このフレームワークは、ベンチマークデータセットと実世界の産業的CTR予測ワークロードの両方で汎用性を示せるか？

主な発見

• 提案されたロケットランチングフレームワークにより、軽量ニューラルネットワークが、従来はより深い複雑なモデルでのみ達成可能だった予測性能に到達できるようになった。
• 選択された蒸留損失関数は、ライトネットとブースターネットの間の一致を顕著に向上させ、優れた一般化性能を実現した。
• 勾配ブロッキング技術はトレーニングの安定性を向上させ、最終的なモデル精度の向上に寄与した。
• ベンチマークデータセットでは、ロケットランチングで訓練されたライトネットは、標準的な軽量モデルを上回る性能を示した一方で、低遅延の推論を維持した。
• 産業スケールの広告CTR予測タスクにおいて、本手法はフルディープモデルと比較して顕著に計算コストを低減しながら、競争力のある性能を達成した。