[論文レビュー] LORA: Learning to optimize for resource allocation in wireless networks with few training samples

Yifei Shen, Yuanming Shi+2 more|arXiv (Cornell University)|Dec 18, 2018

Advanced Wireless Network Optimization被引用数 3

ひとこと要約

本稿では、分枝限定法の木の枝狩りに模倣学習を用いることで、訓練データの必要量を著しく削減する、無線ネットワークのリソース割り当てに向けたサンプル効率の良い学習最適化フレームワークLORMを提案する。さらに、自己模倣を用いた転移学習手法LORM-TLを導入し、少量のラベル付きデータで新しいネットワーク状態への高速適応を可能にし、従来手法と比較してほぼ最適な性能と顕著な高速化を達成する。

ABSTRACT

Effective resource management plays a pivotal role in wireless networks, which, unfortunately, results in challenging mixed-integer nonlinear programming (MINLP) problems in most cases. Machine learning-based methods have recently emerged as a disruptive way to obtain near-optimal performance for MINLPs with affordable computational complexity. There have been some attempts in applying such methods to resource management in wireless networks, but these attempts require huge amounts of training samples and lack the capability to handle constrained problems. Furthermore, they suffer from severe performance deterioration when the network parameters change, which commonly happens and is referred to as the task mismatch problem. In this paper, to reduce the sample complexity and address the feasibility issue, we propose a framework of Learning to Optimize for Resource Management (LORM). Instead of the end-to-end learning approach adopted in previous studies, LORM learns the optimal pruning policy in the branch-and-bound algorithm for MINLPs via a sample-efficient method, namely, imitation learning. To further address the task mismatch problem, we develop a transfer learning method via self-imitation in LORM, named LORM-TL, which can quickly adapt a pre-trained machine learning model to the new task with only a few additional unlabeled training samples. Numerical simulations will demonstrate that LORM outperforms specialized state-of-the-art algorithms and achieves near-optimal performance, while achieving significant speedup compared with the branch-and-bound algorithm. Moreover, LORM-TL, by relying on a few unlabeled samples, achieves comparable performance with the model trained from scratch with sufficient labeled samples.

研究の動機と目的

• 無線ネットワークリソース割り当てにおける機械学習ベースの既存手法が抱える高いサンプル複雑性と実装可能性の問題を解決すること。
• ネットワークパラメータが変化した際にモデル性能が低下する「タスクミスマッチ問題」を克服し、新しい状態への高速適応を可能にすること。
• 計算複雑性と訓練データ要件を低減しながら、混合整数非線形計画問題（MINLP）においてほぼ最適な性能を維持すること。
• 動的かつ変化しやすい無線環境において、ラベルなしサンプルを活用して迅速なモデル適応を実現する転移学習メカニズムの開発

提案手法

• LORMは、MINLPに対する分枝限定法における最適な枝狩り意思決定を学習する方策ネットワークを模倣学習で訓練する。
• フレームワークは少量のラベル付き最適解で学習することで、エンドツーエンドの訓練を経ずに、効率的な枝狩り戦略の学習が可能になる。
• LORM-TLは、新しいタスクの分布からの少数のラベルなしサンプルを用いて、事前に学習済みモデルを微調整する自己模倣を導入する。
• LORM-TLにおける自己模倣により、モデル自身の予測から擬似ラベルを生成でき、適応効率が向上する。
• 分枝限定フレームワークに統合されることで、解の妥当性を保ちつつ収束を加速する。
• 本手法は、無線リソース割り当てで一般的な制約付きMINLPを適切に処理できるように設計されており、実用的な妥当性を保証する。

実験結果

リサーチクエスチョン

• RQ1 模倣学習は、無線リソース割り当てのための機械学習モデルのトレーニングにおけるサンプル複雑性を低減できるか？
• RQ2 自己模倣に基づく転移学習手法は、少量のラベル付きデータで新しいネットワーク状態への高速適応を可能にするか？
• RQ3 提案されたフレームワークは、標準的な分枝限定法と比較して、著しく高速化しながらほぼ最適な性能を達成できるか？
• RQ4 少量のラベル付きサンプルしか利用できない状況で、LORM-TLの性能は、初期から訓練したモデルと比べてどの程度か？

主な発見

• LORMは、無線リソース割り当てにおいてほぼ最適な性能を達成している一方で、特化した最先端のアルゴリズムよりも顕著に優れている。
• LORMは、標準的な分枝限定法と比較して、計算複雑性を低減し、収束を高速化している。
• LORM-TLは、追加のラベルなしサンプルをわずかに使用するだけで、初期から訓練したモデルと同等の性能を達成している。
• 本フレームワークは、新しいネットワークパrameter設定への迅速な適応を可能にすることで、タスクミスマッチ問題を効果的に解決している。
• 模倣学習の活用により、大規模なラベル付きデータセットへの依存を低減し、サンプル効率の良い学習が実現している。