[論文レビュー] Path Design and Resource Management for NOMA enhanced Indoor Intelligent Robots

Ruikang Zhong, Xiao Liu+3 more|arXiv (Cornell University)|Nov 23, 2020

Indoor and Outdoor Localization Technologies被引用数 4

ひとこと要約

本論文は、ITU準拠の室内周波数チャネルモデルから導出されたラジオマップを用いて訓練された深層転移決定的方策勾配（DT-DPG）アルゴリズムを用い、経路計画と下り行方向の電力割り当てを共同最適化することで、NOMA強化型の屋内インテリジェントロボット（IR）サービスフレームワークを提案する。ラジオマップにより、ハードウェアフリーの訓練が可能となり、訓練時間を約30%短縮するとともに、OMAおよび標準的なDDPG手法と比較して信頼性とミッション効率が向上する。

ABSTRACT

A communication enabled indoor intelligent robots (IRs) service framework is proposed, where non-orthogonal multiple access (NOMA) technique is adopted to enable highly reliable communications. In cooperation with the ultramodern indoor channel model recently proposed by the International Telecommunication Union (ITU), the Lego modeling method is proposed, which can deterministically describe the indoor layout and channel state in order to construct the radio map. The investigated radio map is invoked as a virtual environment to train the reinforcement learning agent, which can save training time and hardware costs. Build on the proposed communication model, motions of IRs who need to reach designated mission destinations and their corresponding down-link power allocation policy are jointly optimized to maximize the mission efficiency and communication reliability of IRs. In an effort to solve this optimization problem, a novel reinforcement learning approach named deep transfer deterministic policy gradient (DT-DPG) algorithm is proposed. Our simulation results demonstrate that 1) With the aid of NOMA techniques, the communication reliability of IRs is effectively improved; 2) The radio map is qualified to be a virtual training environment, and its statistical channel state information improves training efficiency by about 30%; 3) The proposed DT-DPG algorithm is superior to the conventional deep deterministic policy gradient (DDPG) algorithm in terms of optimization performance, training time, and anti-local optimum ability.

研究の動機と目的

• 動的経路計画中に信頼性の高い低遅延通信を維持する課題に対処すること。
• 非直交多重アクセス（NOMA）下で、ロボットの軌道と下り行方向の電力割り当てを共同最適化し、ミッション成功確率と通信品質を向上させること。
• 統計的に導出されたラジオマップを仮想環境として用いることで、ロボットナビゲーションにおける強化学習エージェントの訓練コストと訓練時間を削減すること。
• 局所最適解の回避と収束速度の向上を図るため、従来のDDPGを改善するための転移学習を導入すること。

提案手法

• ITUの最新の室内周波数チャネルモデルに基づき、レゴモデル法を用いて屋内レイアウトと統計的チャネル状態情報に基づいてラジオマップを構築する。
• ラジオマップは強化学習の仮想訓練環境として機能し、訓練の安定化のため、実世界のランダムフェージングを統計的チャネルデータに置き換える。
• 経路計画とNOMA電力割り当てを共同最適化するための新規な深層転移決定的方策勾配（DT-DPG）アルゴリズムを提案する。報酬関数にはミッション時間、QoS、障害回避が組み込まれている。
• 転移学習を適用し、最初に簡単なタスク（例：目的地到着）で事前学習を行い、その後本番のミッションでファインチューニングすることで、収束性と耐障害性を向上させる。
• 報酬関数には、目的地到着に対する基本報酬、QoS違反に対するペナルティ、および合計ミッション時間の最小化を目的とした項が含まれる。
• DT-DPGエージェントはリプレイバッファとターゲットネットワークを用いて訓練され、報酬の探索と活用のバランスを取るために探索ノイズが導入される。

実験結果

リサーチクエスチョン

• RQ1 統計的チャネル状態情報から導出されたラジオマップは、屋内ロボットナビゲーションにおける強化学習エージェントの訓練に効果的な仮想環境として機能するか？
• RQ2 提案されたDT-DPGアルゴリズムは、従来のDDPGと比較して収束速度、最適化性能、局所最適解の回避の点でどのように優れているか？
• RQ3 NOMAは、OMAと比較して屋内ロボットネットワークにおける通信の信頼性とミッション効率をどの程度向上させるか？
• RQ4 ラジオマップの使用が、RLベースのロボット制御における訓練効率とハードウェアコスト削減に与える影響は何か？

主な発見

• 提案されたラジオマップにより、ニューラルネットワークの収束プロセスにおけるランダムフェージング干渉を排除することで、実世界訓練と比較して訓練時間を約30%短縮した。
• ラジオマップ上で訓練されたDT-DPGアルゴリズムは、NOMA方式で平均ミッション品質指数（MQI）929.0を達成した。これは、同じ制約下でDDPGが目的地到着に20%未満の成功率しか示さないのと比べ、顕著に優れている。
• 転移学習のおかげで、DT-DPGアルゴリズムは標準的なDDPGよりも局所最適解をより効果的に回避し、目的地到着成功率が95%以上に達した。一方、DDPGは20%未満であった。
• ラジオマップ上で訓練された場合、NOMAはOMAと比較して平均でMQIを49.5ポイント向上（929.0 vs. 879.5）させ、ユーザーの公平性と信頼性の両面で優れた性能を示した。
• ラジオマップで訓練されたエージェントは、実世界テストでもMQI = 919.0の性能を示し、実世界で訓練されたエージェント（MQI = 929.0）と同等の性能を達成した。これにより仮想環境の妥当性が裏付けられた。
• DT-DPGのマルチステージ収束は、転送後に探索が増加することで一時的な性能低下を示したが、その後顕著な性能向上が見られた。これは、効果的な知識転送と改善された方策学習が実現していることを示している。