[論文レビュー] End-to-End Learning of Proactive Handover Policy for Camera-Assisted mmWave Networks Using Deep Reinforcement Learning.

Yusuke Koda, Kota Nakashima+3 more|arXiv (Cornell University)|Apr 9, 2019

Millimeter-Wave Propagation and Modeling参考文献 2被引用数 5

ひとこと要約

本稿では、障害物による信号の急激な劣化の前に、カメラ画像を直接プロアクティブなハンドオーバー意思決定にマッピングするエンドツーエンドのディープレインフォースメントラーニングフレームワークを提案する。視覚的認識を活用することで、パワーに基づく手法に比べて高速かつスケーラブルな障害物認識ハンドオーバー意思決定が可能になる。

ABSTRACT

For mmWave networks, this paper proposes an image-to-decision proactive handover framework, which directly maps camera images to a handover decision. With the help of camera images, the proposed framework enables a proactive handover, i.e., a handover is triggered before a temporal variation in the received power induced by obstacles even if the variation is extremely rapid such that it cannot be predicted from a time series of received power. Furthermore, direct mapping allows scalability for the number of obstacles. This paper shows that optimal mapping is learned via deep reinforcement learning (RL) by proving that the decision process in our proposed framework is a Markov decision process. While performing deep RL, this paper designs a neural network (NN) architecture for a network controller to successfully learn the use of lower-dimensional observations in state information and higher-dimensional image observations. The evaluations based on experimentally obtained camera images and received powers indicate that the learned handover policy in the proposed framework outperforms the learned policy in a received power-based handover framework.

研究の動機と目的

• 移動する障害物による急激で予測不能な信号ブロックの課題に対処すること。
• 信号劣化が発生する前にプロアクティブなハンドオーバーを可能にし、反応型のパワーに基づく手法の限界を克服すること。
• 視覚的観測（カメラ画像）を直接ハンドオーバー意思決定にマッピングするスケーラブルなソリューションの開発。
• 意思決定プロセスがディープレインフォースメントラーニングを可能にするためのマルコフ意思決定過程（MDP）としてモデル化できることを示すこと。
• 従来のパワーに基づく学習フレームワークに比べ、優れたハンドオーバー性能を達成すること。

提案手法

• ハンドオーバー意思決定プロセスをマルコフ意思決定過程（MDP）として定式化し、ディープレインフォースメントラーニング（DRL）の利用を可能にする。
• 低次元の信号強度データと高次元のカメラ画像の両方を処理するハイブリッドニューラルネットワークアーキテクチャを設計する。
• エンドツーエンド学習を用いて、カメラ画像を直接最適なハンドオーバーアクションにマッピングするDRLエージェントを訓練する。
• 実験的カメラ画像と受信電力トレースを活用し、トレーニング中に現実的なネットワーク状態をシミュレートする。
• 視覚的認識を統合し、信号品質に影響を与える前に障害物の移動を検出し、ブロックエージェントイベントを予測する。
• 動的でリアルタイムの環境において、探索と活用のバランスを最適化するポリシーネットワークを設計する。

実験結果

リサーチクエスチョン

• RQ1 カメラ画像は、信号劣化が発生する前にmmWaveネットワークにおけるプロアクティブなハンドオーバーを有効に可能にするか？
• RQ2 カメラ支援型システムにおけるハンドオーバー意思決定プロセスは、マルコフ意思決定過程（MDP）としてモデル化可能か？
• RQ3 ディープレインフォースメントラーニングによる直接的な画像→意思決定マッピングは、従来のパワーに基づくハンドオーバーポリシーを上回るか？
• RQ4 従来の手法と比較して、障害物の数が増加する状況下での本フレームワークのスケーラビリティはいかがなものか？
• RQ5 ネットワークコントローラーは、信号強度データと統合しながら、関連する視覚的特徴を学習して優先順位をつけることができるか？

主な発見

• 提案されたフレームワークは、ディープレインフォースメントラーニングを用いて、信号劣化が発生する前にプロアクティブなハンドオーバーポリシーを効果的に学習した。
• 意思決定プロセスが形式的にマルコフ意思決定過程（MDP）であることが証明され、このタスクにおけるRLの適用が正当化された。
• ハイブリッドニューラルネットワークは、低次元の信号データと高次元の画像観測を効果的に統合し、意思決定の質を向上させた。
• 実験データを用いた評価では、本手法がパワーに基づくハンドオーバーポリシーに比べ、ハンドオーバー効果性において優れた性能を示した。
• 従来の手法が信号履歴に制限されるのとは異なり、直接的な視覚的認識により、複数の障害物を扱う際のスケーラビリティを示した。
• 視覚的キューを介してブロックエージェントを予測することで、信号変化がパワートレースからの検出に遅すぎる場合でも、より早期かつ信頼性の高いハンドオーバー発動を達成した。