[論文レビュー] Deep Reinforcement Learning for Autonomous Internet of Things: Model, Applications and Challenges

Lei Lei, Yue Tan+5 more|arXiv (Cornell University)|Jul 22, 2019

Reinforcement Learning in Robotics参考文献 175被引用数 13

ひとこと要約

本稿は、物理的制御とネットワーク／計算リソース管理を統合する、自律的エッジインターネット・オブ・シングス（AIoT）システムを対象とした統合的深層強化学習（DRL）フレームワークを提案する。AIoT分野における最新のDRL応用をサーベイし、提案された一般モデルに基づいて分類し、スケーラビリティ、リアルタイム性能、一般化に関する主な課題を特定する。

ABSTRACT

The Internet of Things (IoT) extends the Internet connectivity into billions of IoT devices around the world, where the IoT devices collect and share information to reflect status of the physical world. The Autonomous Control System (ACS), on the other hand, performs control functions on the physical systems without external intervention over an extended period of time. The integration of IoT and ACS results in a new concept - autonomous IoT (AIoT). The sensors collect information on the system status, based on which the intelligent agents in the IoT devices as well as the Edge/Fog/Cloud servers make control decisions for the actuators to react. In order to achieve autonomy, a promising method is for the intelligent agents to leverage the techniques in the field of artificial intelligence, especially reinforcement learning (RL) and deep reinforcement learning (DRL) for decision making. In this paper, we first provide a tutorial of DRL, and then propose a general model for the applications of RL/DRL in AIoT. Next, a comprehensive survey of the state-of-art research on DRL for AIoT is presented, where the existing works are classified and summarized under the umbrella of the proposed general DRL model. Finally, the challenges and open issues for future research are identified.

研究の動機と目的

• 自律的制御システムとIoTの間のギャップを埋めるために、自律的IoT（AIoT）を新しいパラダイムとして導入すること。
• AIoT応用に特化した、深層強化学習（DRL）の包括的チュートリアルを提供すること。
• AIoTにおける物理的システム制御とネットワーク／リソース制御を統合する一般DRLモデルを提案すること。
• 応用分野にわたる既存のAIoT分野におけるDRL研究を体系的にサーベイおよび分類すること。
• スケーラビリティ、リアルタイム性能、DRLの強度に関するAIoTにおける未解決の課題と今後の研究方向性を特定すること。

提案手法

• IoTデバイス、エッジ／ミッドルール、クラウドサーバーを統合した階層的AIoTアーキテクチャを提案し、センサ、アクチュエータ、知能エージェントを統合する。
• エッジまたはクラウドサーバーに配置されたエージェントが、アクチュエータの動作とネットワーク／計算リソース割り当ての二段階制御の最適ポリシーを学習する統合的DRLモデルを導入する。
• 高次元の状態空間において価値関数やポリシーを表現するために深層ニューラルネットワーク（DNN）を用い、生のセンシングデータからのエンドツーエンド学習を可能にする。
• 連続的および離散的アクション空間におけるポリシー学習に、標準的なDRLアルゴリズム（例：Deep Q-Network（DQN）、Advantage Actor-Critic（A2C）、Proximal Policy Optimization（PPO））を採用する。
• DQNベースの手法における学習安定化のため、経験リプレイとターゲットネットワークを適用し、複雑な状態表現を扱うために深層ニューラルネットワークによる関数近似を用いる。
• ポリシー最適化におけるパラメータ更新をより効率的に行うために、ナチュラル勾配法を統合し、収束性と安定性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、物理的制御層とネットワーク制御層の両方において、IoTシステムの自律性をどのように効果的に実現できるか？
• RQ2 AIoTシステムにおけるアクチュエータ制御とリソース割り当ての両方を統合する一般化されたDRLフレームワークとは何か？
• RQ3 既存のAIoT分野におけるDRLアプローチは、アーキテクチャ、学習目的、応用シナリオの観点からどのように相違するか？
• RQ4 現実のAIoTシステムにDRLを導入するにあたり、遅延、スケーラビリティ、一般化に関する主な課題は何か？
• RQ5 動的環境において、DRLベースのAIoTシステムが強度があり、解釈可能で、実用可能であるようにするために、未解決の研究課題は何か？

主な発見

• IoTと自律的制御システムの統合により、知能エージェントがセンシングフィードバックに基づいて長期的な制御意思決定を行う自律的IoT（AIoT）の出現が可能になる。
• DRLによりエージェントは、明示的な教師信号なしに高次元のセンシング入力から最適な制御ポリシーを学習でき、複雑で動的な環境において従来の制御手法を上回る性能を発揮する。
• 提案された一般DRLモデルは、物理的アクチュエータ制御とネットワーク／計算リソース制御の共同最適化を可能にし、全体のシステム性能を向上させる。
• 既存のAIoT分野におけるDRL応用は、主にスマートビル、スマートグリッド、インテリジェント輸送、無線ネットワークに集中しており、リアルタイム性能やスケーラビリティの観点で差異が見られる。
• 主な課題には、高次元の状態・アクション空間、遅延報酬、部分的観測性、現実世界の展開におけるサンプル効率性と安定性の高い学習の必要性が含まれる。
• 今後の研究では、環境間での一般化、ポリシーの解釈可能性、分布シフトや悪意ある攻撃に対する強度の向上を解決する必要がある。