[論文レビュー] Comprehensive and Efficient Data Labeling via Adaptive Model Scheduling

Mu Yuan, Lan Zhang+2 more|arXiv (Cornell University)|Feb 8, 2020

Advanced Neural Network Applications参考文献 36被引用数 4

ひとこと要約

本論文は、深層強化学習を用いて未実行モデルの価値を予測し、リソース制約および遅延制約のもとで高信頼度ラベル抽出を最大化するため、動的かつ適応的なモデルスケジューリングを行うフレームワークを提案する。5つの画像データセットおよび30のモデルで評価された結果、ラベル品質に損失を生じさせることなく処理速度が53%向上し、包括的なデータラベリングワークフローにおける効率性を顕著に向上させた。

ABSTRACT

Labeling data (e.g., labeling the people, objects, actions and scene in images) comprehensively and efficiently is a widely needed but challenging task. Numerous models were proposed to label various data and many approaches were designed to enhance the ability of deep learning models or accelerate them. Unfortunately, a single machine-learning model is not powerful enough to extract various semantic information from data. Given certain applications, such as image retrieval platforms and photo album management apps, it is often required to execute a collection of models to obtain sufficient labels. With limited computing resources and stringent delay, given a data stream and a collection of applicable resource-hungry deep-learning models, we design a novel approach to adaptively schedule a subset of these models to execute on each data item, aiming to maximize the value of the model output (e.g., the number of high-confidence labels). Achieving this lofty goal is nontrivial since a model's output on any data item is content-dependent and unknown until we execute it. To tackle this, we propose an Adaptive Model Scheduling framework, consisting of 1) a deep reinforcement learning-based approach to predict the value of unexecuted models by mining semantic relationship among diverse models, and 2) two heuristic algorithms to adaptively schedule the model execution order under a deadline or deadline-memory constraints respectively. The proposed framework doesn't require any prior knowledge of the data, which works as a powerful complement to existing model optimization technologies. We conduct extensive evaluations on five diverse image datasets and 30 popular image labeling models to demonstrate the effectiveness of our design: our design could save around 53\% execution time without loss of any valuable labels.

研究の動機と目的

• 複数のリソース集約的なディープラーニングモデルを用いて大規模データを効率的かつ包括的にラベリングする課題に対処すること。
• 計算の無駄と実行時間を最小限に抑えながら、各データ項目から抽出される高信頼度ラベルの数を最大化すること。
• データコンテンツの事前知識がなくても動作するフレームワークを構築し、コンテンツ依存的なモデル出力に応じてリアルタイムでモデルスケジューリングを適応させること。
• 既存のモデル最適化および高速化技術と直交する軽量なソリューションを提供し、それらを補完すること。
• モバイルフォトアプリやリアルタイムデータ処理パイプラインなど、リソース制約のある環境での実用的導入を可能にすること。

提案手法

• 深層強化学習（DRL）エージェントは、学習されたモデル関係グラフを通じて多様なモデル間の意味的関係を抽出することで、未実行モデルの価値を予測するように訓練される。
• フレームワークはモデル関係グラフを構築し、モデル間の依存関係や類似性を符号化することで、どのモデルが高価値の出力をもたらすかを知的かつ的確に予測可能にする。
• 2つのヒューリスティックスケジューリングアルゴリズムを提案：1つはデッドライン制約のある状況に適したもの、もう1つはデッドラインとメモリ両方の制約がある環境に適したもので、予測された価値に基づいてモデル実行順序を最適化する。
• DRLエージェントは最小限のオーバーヘッドで動作する——1回の判断あたり3〜6msの推論時間、100MBのCPUメモリ消費量にとどまり、リアルタイム導入に適している。
• モデル実行はデータ項目ごとに動的にスケジューリングされ、高信頼度ラベルをもたらす可能性のあるモデルのみが実行され、不要な実行を回避する。
• システムは事前データ分布の知識を必要とせず、リアルタイムでコンテンツ依存的なモデル動作に適応して動作する。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ依存的でデータに依存しない環境において、未実行モデルの価値をどのように予測すれば、無駄な計算を回避できるか？
• RQ2 厳密な時間制約およびメモリ制約のもとで、高信頼度ラベルの抽出数を最大化するためのスケジューリング戦略は何か？
• RQ3 多様なディープラーニングモデル間の意味的関係を効果的にモデル化し、モデルの有用性予測の正確性を向上させるにはどうすればよいか？
• RQ4 軽量なDRLベースのフレームワークは、実世界のデータラベリングワークロードにおいてラベルの完全性を損なわず、顕著な効率性向上を達成できるか？
• RQ5 大規模モデル実行パイプラインにおいて、スケジューリングの知性と計算オーバーヘッドのトレードオフは何か？

主な発見

• 提案されたフレームワークは、5つの多様な画像データセットにおいて、平均して53%のモデル実行時間を短縮したが、価値のあるラベルを一切損なわなかった。
• DRLエージェントは、1回の判断あたり3〜6msの推論時間で、未実行モデルの価値予測に高い正確性を達成しており、リアルタイム導入に適している。
• モデル関係グラフにより、モデル間での知識の転送が効果的に可能となり、限られた学習データでも予測の信頼性が向上した。
• ヒューリスティックスケジューリングアルゴリズムは、ランダム実行や固定順序実行といったベースライン戦略に比べ、ラベル品質および効率性の面で顕著に優れた性能を示した。
• フレームワークは計算的に軽量であり、100MBのCPUメモリ消費量にとどまるのに対し、ディープラーニングモデル1つあたり500MB〜8GBのGPUメモリを消費するため、低オーバーヘッドを実現した。
• 本アプローチは既存のモデル最適化技術と直交しており、既存のデータラベリングパイプラインにシームレスに統合可能で、パフォーマンス向上が可能である。