[論文レビュー] LIFT: Reinforcement Learning in Computer Systems by Learning From Demonstrations

Michael Schaarschmidt, Alexander Kuhnle+4 more|arXiv (Cornell University)|Aug 23, 2018

Data Stream Mining Techniques参考文献 56被引用数 38

ひとこと要約

LIFT は、データベースおよびストリーム処理システムにおける深層強化学習（DRL）を可能にするエンドツーエンドのソフトウェアスタックであり、クエリログやルールベースの構成などの人間が提供したデモからエージェントを事前学習することで実現される。TensorForce をバックエンドとして使用し、不完全なデモで訓練された LIFT コントローラーは、レイテンシおよびメモリ効率において、人間が設計したヒューリスティクスやエキスパートベースラインよりも最大 70% 優れている。

ABSTRACT

Reinforcement learning approaches have long appealed to the data management community due to their ability to learn to control dynamic behavior from raw system performance. Recent successes in combining deep neural networks with reinforcement learning have sparked significant new interest in this domain. However, practical solutions remain elusive due to large training data requirements, algorithmic instability, and lack of standard tools. In this work, we introduce LIFT, an end-to-end software stack for applying deep reinforcement learning to data management tasks. While prior work has frequently explored applications in simulations, LIFT centers on utilizing human expertise to learn from demonstrations, thus lowering online training times. We further introduce TensorForce, a TensorFlow library for applied deep reinforcement learning exposing a unified declarative interface to common RL algorithms, thus providing a backend to LIFT. We demonstrate the utility of LIFT in two case studies in database compound indexing and resource management in stream processing. Results show LIFT controllers initialized from demonstrations can outperform human baselines and heuristics across latency metrics and space usage by up to 70%.

研究の動機と目的

• コンピュータシステムにおける強化学習（RL）の実用的導入を妨げる高コストなデータ収集・トレーニング、不安定性、ツールの欠如といった課題に対処すること。
• 既存のシステムログと人間のデモを事前学習データとして活用することで、オンライントレーニング時間を短縮すること。
• データベースインデクシングやストリーム処理を含むデータ管理ワークロードへの DRL の適用を可能にする統合的かつモジュラーなソフトウェアスタックを提供すること。
• 不完全なデモからの事前学習が、オンラインオンリーでのトレーニングと比較して収束が速く、性能が優れていることを実証すること。
• 宣言的TensorFlowライブラリであるTensorForceを導入し、LIFTのアルゴリズム的バックエンドとしての役割を果たすこと。

提案手法

• LIFT は、クエリプラン、実行統計、インデックス使用状況を含む遅延クエリログなどのシステムトレースを入力とし、ユーザー定義のスキーマを介して状態、行動、報酬にマッピングする。
• デモはログやルールベースのシステムから抽出され、各トレースは模倣学習のための状態-行動-報酬トリプレットに対応する。
• フレームワークは、信頼度スコアを用いて高品質なデモに重みを付けることで、不完全なデモを活用する Deep Q-learning with Demonstrations (DQfD) を使用して DRL エージェントを事前学習する。
• TensorForce は、状態、行動、報酬の仕様から TensorFlow の計算グラフを生成し、低レベルのモデル構築を抽象化する。
• 事前学習済みエージェントは、実際のシステム環境でオンラインでファインチューニングされ、動的ワークロードに適応する。
• システムはオフラインの事前学習とオンラインでの最適化の両方をサポートしており、迅速な収束とより優れた一般化性能を実現する。

実験結果

リサーチクエスチョン

• RQ1 データ管理ワークロードにおいて、システムログからの不完全な人間のデモを用いて強化学習コントローラーを効果的に事前学習できるか？
• RQ2 デモからの事前学習が、データベースおよびストリーム処理システムにおけるオンライントレーニング時間の短縮と最終的な性能向上にどの程度寄与するか？
• RQ3 不完全なデモで訓練された DRL エージェントは、人間が設計したヒューリスティクスやエキスパートベースラインと比較して、レイテンシおよびリソース使用量の点でどの程度優れているか？
• RQ4 統合的かつ宣言的な深層強化学習ライブラリ（TensorForce）は、多様なデータ管理アプリケーションのスケーラブルなバックエンドとして機能できるか？
• RQ5 DQfDフレームワークにおいて、デモの信頼度を割り当てるための大マージン関数が、実世界のシステム制御に与える影響は何か？

主な発見

• LIFT コントローラーは、不完全なルールベースのデモで事前学習された結果、データベース複合インデクシングにおいて、人間ベースラインやヒューリスティクスと比較して最大 70% 優れたレイテンシおよびメモリ使用効率を達成した。
• 事前学習フェーズにより、オンライントレーニング時間が顕著に短縮され、数時間で収束するようになった。
• ストリーム処理では、Heron 上で最適なタスク並列化構成を効果的に学習した。これは、インデクシングを超えた一般化の可能性を示している。
• DQfD に信頼度重み付けを組み合わせたことで、不完全なデモからの学習が効果的に行われ、サンプル効率と安定性が向上した。
• TensorForce は、複雑なディープラーニングおよび RL 実装の詳細を抽象化することで、DRL エージェントの迅速なプロトタイピングとデプロイメントを可能にした。
• フレームワークは、既存のシステムログとヒューリスティクスをデモとして活用することが、生産環境における実用的 DRL 導入の有効な道筋であることを実証した。