[論文レビュー] Transfer Learning for Mixed-Integer Resource Allocation Problems in Wireless Networks

Yifei Shen, Yuanming Shi+2 more|arXiv (Cornell University)|Nov 17, 2018

Sparse and Compressive Sensing Techniques参考文献 15被引用数 4

ひとこと要約

本稿では、変化するネットワーク環境下で性能が低下する事前学習モデルの問題を解決するため、自己模倣を用いた転移学習手法を提案する。新しい環境からのラベルなしサンプルを活用し、探索中に得られた最良の解を仮ラベルとして用いることで、最小限のラベルデータでポリシーをファインチューニングする。この手法により、最適に近い性能を達成するとともに、初期学習からの訓練に比べて最大15倍速い学習が実現される。

ABSTRACT

Effective resource allocation plays a pivotal role for performance optimization in wireless networks. Unfortunately, typical resource allocation problems are mixed-integer nonlinear programming (MINLP) problems, which are NP-hard. Machine learning based methods recently emerge as a disruptive way to obtain near-optimal performance for MINLP problems with affordable computational complexity. However, they suffer from severe performance deterioration when the network parameters change, which commonly happens in practice and can be characterized as the task mismatch issue. In this paper, we propose a transfer learning method via self-imitation, to address this issue for effective resource allocation in wireless networks. It is based on a general "learning to optimize" framework for solving MINLP problems. A unique advantage of the proposed method is that it can tackle the task mismatch issue with a few additional unlabeled training samples, which is especially important when transferring to large-size problems. Numerical experiments demonstrate that with much less training time, the proposed method achieves comparable performance with the model trained from scratch with sufficient amount of labeled samples. To the best of our knowledge, this is the first work that applies transfer learning for resource allocation in wireless networks.

研究の動機と目的

• 動的無線ネットワークにおける機械学習ベースのリソース割り当てにおいて、ネットワークパラメータが変化することでモデル性能が低下するというタスク不一致問題を解決すること。
• 特に大規模な混合整数非線形計画問題（MINLP）に対して、新しいネットワーク設定でモデルを再訓練する際の学習時間とラベル付与コストを低減すること。
• わずかなラベルなしサンプルと自己生成ラベルを用いて、事前学習済みポリシーを新しいシナリオに効率的に適応可能にする仕組みを提供すること。
• 完全なラベル付きデータセットで学習したモデルと同等の性能を、自己模倣による転移学習で達成できることを示すこと。

提案手法

• 混合整数非線形計画問題（MINLP）を解くために分枝限定法を基盤とする一般化された「最適化の学習」フレームワークを採用する。
• まず、特定のネットワーク設定から得られる豊富なラベル付きサンプルを用いて、ソースデータセット上でポリシーを学習する。
• 転移の段階では、事前学習済みポリシーと探索ポリシーを融合させ、ターゲットネットワーク環境における分枝限定木を走査し、ラベルなしサンプルを生成する。
• 探索中に得られた最良の解を、外部ラベルを必要としないファインチューニングのための仮ラベルとして用いる。
• 自己模倣プロセスでは、木の走査中に活用と探索のバランスを取るために、動的ブレンド比 α = min(1, 0.2k) を用いる。
• 本手法は、クラウド無線アクセスネットワーク（Cloud-RAN）のフロントハルパワー最小化問題に適用され、整数変数はRRH選択とユーザ接続を表す。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク環境が変化した場合に、自己模倣による転移学習が、機械学習ベースのリソース割り当てにおける性能低下を効果的に緩和できるか？
• RQ2 新しい環境からのわずかなラベルなしサンプルが、外部ラベルなしで効果的なポリシーのファインチューニングを可能にする程度はどの程度か？
• RQ3 完全なラベル付きデータセットで学習したモデルと比較して、提案手法の性能ギャップと学習速度はどの程度か？
• RQ4 異なるネットワーク構成（例えば、異なるユーザ数、RRH数、ユーザ分布）においても、本手法は高い性能を維持できるか？

主な発見

• 提案手法である自己模倣転移学習は、さまざまなターゲットSINRレベルにおいて、最適解との性能ギャップが0.7%〜2.4%に留まり、『初期学習からの学習』ベースラインと同等の性能を達成する。
• 初期学習からの学習に比べ、学習時間の10.1倍から15.6倍の高速化を達成する。特にソースとターゲットの分布が類似しているシナリオで最大の高速化が観察された。
• 動的ユーザ移動性のシナリオでは、分枝限定法に比べ22.9倍から23.4倍の高速化を達成し、完全ラベル付き学習ベースラインと同等の性能を再現する。
• 学習の高速化は、ソースタスクからの知識転送と、ラベル生成時間の削減に起因する。ファインチューニングには外部ラベルが不要であるため。
• 異なるネットワーク構成（例：異なるRRH数やユーザ数）においても、性能ギャップは0.5%〜1.9%に留まり、分枝限定法に比べ13.4倍の高速化を達成する。