[論文レビュー] Adaptive Streaming Perception using Deep Reinforcement Learning.

Anurag Ghosh, Akshay Nambi+3 more|arXiv (Cornell University)|Jun 10, 2021

Advanced Bandit Algorithms Research参考文献 41被引用数 7

ひとこと要約

本論文は、リアルタイムで精度と遅延の両方を最適化するための深層強化学習アプローチを提案している。この手法は、統一された報酬関数を用いた文脈的バンディット問題として、トレードオフを定式化し、最先端の手法を上回る性能を達成するポリシーを学習可能である。

ABSTRACT

Executing computer vision models on streaming visual data, or streaming perception is an emerging problem, with applications in self-driving, embodied agents, and augmented/virtual reality. The development of such systems is largely governed by the accuracy and latency of the processing pipeline. While past work has proposed numerous approximate execution frameworks, their decision functions solely focus on optimizing latency, accuracy, or energy, etc. This results in sub-optimum decisions, affecting the overall system performance. We argue that the streaming perception systems should holistically maximize the overall system performance (i.e., considering both accuracy and latency simultaneously). To this end, we describe a new approach based on deep reinforcement learning to learn these tradeoffs at runtime for streaming perception. This tradeoff optimization is formulated as a novel deep contextual bandit problem and we design a new reward function that holistically integrates latency and accuracy into a single metric. We show that our agent can learn a competitive policy across multiple decision dimensions, which outperforms state-of-the-art policies on public datasets.

研究の動機と目的

• 遅延や精度といった単一の指標に注目するストリーミング認識システムにおける非最適な意思決定を是正すること。
• リアルタイムに精度を最大化し、遅延を最小化することで、包括的なシステム性能最適化を実現すること。
• ストリーミング認識における動的トレードオフを、統一された報酬関数を用いた文脈的バンディット問題としてモデル化すること。
• 実行時における変化する入力データとシステム制約に適応可能な学習可能なポリシーを開発すること。
• 公開データセット上で手法を評価し、最先端のアプローチを上回る性能を実証すること。

提案手法

• 本手法は、ストリーミング認識意思決定問題を、行動が処理設定の選択を含む深層文脈的バンディットとして定式化する。
• 遅延と精度の両方を統合した新しい報酬関数を設計し、一括での最適化を可能にする。
• 深層Qネットワーク（DQN）エージェントを訓練し、リアルタイムの文脈に基づいて報酬の累積を最大化するように行動（例：モデル解像度、フレームレート）を選択する。
• エージェントは入力フレームとシステム状態を観測し、性能と効率の両立を図る処理戦略を選択する。
• 精度と遅延の結果に対するフィードバックから継続的に学習することで、オンラインでの適応が可能になる。
• モデル選択、解像度、フレームサンプリングレートなど、多次元の意思決定をサポートする。

実験結果

リサーチクエスチョン

• RQ1 強化学習エージェントは、単一目的のアプローチよりも、ストリーミング認識における精度と遅延のバランスをより効果的に学習できるか？
• RQ2 統一された報酬関数を用いた提案された文脈的バンディット定式化は、多様な入力データとシステム制約にわたって一般化できるか？
• RQ3 学習されたポリシーは、公開ベンチマーク上で既存のヒューリスティック法や単一最適化戦略をどの程度上回るか？
• RQ4 入力ストリームの特性に動的な変化が生じた場合、エージェントの意思決定はどの程度頑健か？
• RQ5 統一された報酬関数は、ポリシーの収束性と長期的なシステム性能にどのような影響を与えるか？

主な発見

• 提案手法は、精度と遅延を同時に最適化することで、公開データセット上での最先端のポリシーを上回る優れたシステム性能を達成した。
• 深層強化学習エージェントは、モデル選択やフレームレートなど複数の意思決定次元において、効果的に適応する競争力のあるポリシーを学習した。
• 統一された報酬関数は、対立する目的をうまくバランスさせ、包括的なシステム効率の向上に寄与した。
• エージェントは、変化する入力ストリームと実行時条件に対して優れた一般化能力と適応性を示した。
• 単一の指標（例：遅延または精度）に最適化する従来のアプローチとは異なり、本手法はより良いトレードオフを達成した。
• 結果から、深層強化学習による包括的最適化が、エンドツーエンドのシステム性能に測定可能な向上をもたらすことが確認された。