[論文レビュー] LORM: Learning to Optimize for Resource Management in Wireless Networks with Few Training Samples

Yifei Shen, Yuanming Shi+2 more|arXiv (Cornell University)|Dec 18, 2018

IoT and Edge/Fog Computing参考文献 29被引用数 6

ひとこと要約

本稿では、分枝限定法における枝刈り方策を学習することで、最小限の学習データで近最適性能を達成する、リソース管理を最適化するための少サンプル学習フレームワークLORMを提案する。本手法は模倣学習を用い、無線ネットワークにおけるリソース管理の最適化を実現する。さらに、LORM-TLと呼ばれる転移学習手法を導入し、ラベルなしの少数サンプルのみで新たなネットワーク環境に適応可能であり、タスク不一致を克服し、従来手法に比べて高速かつ実用的である。

ABSTRACT

Effective resource management plays a pivotal role in wireless networks, which, unfortunately, results in challenging mixed-integer nonlinear programming (MINLP) problems in most cases. Machine learning-based methods have recently emerged as a disruptive way to obtain near-optimal performance for MINLPs with affordable computational complexity. There have been some attempts in applying such methods to resource management in wireless networks, but these attempts require huge amounts of training samples and lack the capability to handle constrained problems. Furthermore, they suffer from severe performance deterioration when the network parameters change, which commonly happens and is referred to as the task mismatch problem. In this paper, to reduce the sample complexity and address the feasibility issue, we propose a framework of Learning to Optimize for Resource Management (LORM). Instead of the end-to-end learning approach adopted in previous studies, LORM learns the optimal pruning policy in the branch-and-bound algorithm for MINLPs via a sample-efficient method, namely, imitation learning. To further address the task mismatch problem, we develop a transfer learning method via self-imitation in LORM, named LORM-TL, which can quickly adapt a pre-trained machine learning model to the new task with only a few additional unlabeled training samples. Numerical simulations will demonstrate that LORM outperforms specialized state-of-the-art algorithms and achieves near-optimal performance, while achieving significant speedup compared with the branch-and-bound algorithm. Moreover, LORM-TL, by relying on a few unlabeled samples, achieves comparable performance with the model trained from scratch with sufficient labeled samples.

研究の動機と目的

• 無線リソース管理のための既存の機械学習ベース最適化手法における高いサンプル必要量を解消すること。
• 無線ネットワークに一般的に見られる制約付き混合整数非線形計画問題（MINLP）における実行可能性の問題を克服すること。
• ユーザー数やSINRなどのネットワークパラメータが変化する際のタスク不一致に起因する性能劣化を、新しい設定への迅速な適応によって緩和すること。
• 学習データサイズを超えて一般化可能であり、計算コストを低く抑えつつ近最適性能を維持できる、サンプル効率の高いフレームワークの開発。
• 大量のラベル付きデータに依存せず、動的環境に強い堅牢性を向上させることで、機械学習の無線ネットワークへの実用的導入を可能にすること。

提案手法

• LORMは、MINLP問題における分枝限定法の最適な枝刈り方策を模倣するように、ニューラルネットワークを学習させる。この際、ラベル付き問題インスタンスをわずかに使用する。
• フレームワークは、分枝限定法の探索木の構造的性質を活用して、方策学習をガイドすることで、制約の実行可能性を保証するとともに、サンプル要件を低減する。
• LORM-TLは自己模倣転移学習を導入し、事前に学習されたモデルを、新しいタスクからのわずかなラベルなしサンプルのみでファインチューニングすることで、迅速な適応を可能にする。
• 本手法は、ノード特徴量と木の深さに基づいて、探索するか枝刈りするかを決定する方策ネットワークとして枝刈り意思決定をモデル化する。
• 計算コストを最小限に抑えつつ最適性を保持するように、有望な分岐を促進し、非効率なものを早期に枝刈りするよう促す報酬関数を設計する。
• 本フレームワークは、ユーザー数やSINRレベルが異なるOFDMAリソース割り当て問題に対して評価され、スケーラビリティとロバストネスを示した。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、わずか数個の学習サンプルでのみ、無線ネットワークリソース管理で近最適性能を達成できるか？
• RQ2 無線ネットワークにおけるMINLP問題のエンドツーエンド学習ベース最適化において、制約の実行可能性をどのように保証できるか？
• RQ3 事前学習済みモデルは、再訓練を一切行わず、新しいネットワーク環境（例：異なるユーザー数やSINRレベル）に効果的に適応できるか？
• RQ4 分枝限定法のアルゴリズム的構造を活用することで、エンドツーエンド学習に比べてサンプル効率が向上するか？
• RQ5 自己模倣による転移学習は、動的無線ネットワーク環境におけるラベル付きデータの必要量を削減できるか？

主な発見

• LORMは、100～500個の学習サンプルでのみ近最適性能を達成し、従来のエンドツーエンド学習手法（数百万サンプルが必要）に比べてデータ要件を顕著に低減した。
• L=10、K=15、TSINR=0のシステムにおいて、LORMは解法時間を0.118秒にまで短縮し、標準的な分枝限定法（1.098秒）と比較して90％の高速化を達成した。
• LORM-TLは、十分なラベル付きデータで学習したモデルと同等の性能を示し、ファインチューニングにわずか10～50個のラベルなしサンプルのみで達成した。
• ユーザー数やSINRが変化する動的環境においても、LORM-TLは訓練時と異なるテスト環境でも最適解から0.63％以内の性能を維持した。
• 枝刈り確率ε₁ ≤ 0.5の場合、LORMが探索するノードの期待数はO(L²)に比例し、ε₁ ≤ 0.3の場合にはO(L)に比例する。これは、強力な計算効率を示している。
• エンドツーエンド手法とは異なり、LORMは分枝限定法フレームワーク内での枝刈り方策学習により、制約の実行可能性を保証している。