[논문 리뷰] LORA: Learning to optimize for resource allocation in wireless networks with few training samples

Yifei Shen, Yuanming Shi외 2명|arXiv (Cornell University)|2018. 12. 18.

Advanced Wireless Network Optimization인용 수 3

한 줄 요약

이 논문은 유비쿼터스 네트워크 자원 할당을 위한 샘플 효율적인 학습-최적화 프레임워크인 LORM을 제안한다. 이는 유사 학습을 활용해 분기-한계 트리를 단순화하여 훈련 데이터 요구량을 크게 감소시킨다. 또한 LORM-TL이라는 자기 유사 학습 기반 전이 학습 방법을 도입하여, 최소한의 레이블된 데이터로 새로운 네트워크 조건에 빠르게 적응할 수 있도록 하며, 전통적 방법 대비 거의 최적의 성능과 뚜렷한 속도 향상을 달성한다.

ABSTRACT

Effective resource management plays a pivotal role in wireless networks, which, unfortunately, results in challenging mixed-integer nonlinear programming (MINLP) problems in most cases. Machine learning-based methods have recently emerged as a disruptive way to obtain near-optimal performance for MINLPs with affordable computational complexity. There have been some attempts in applying such methods to resource management in wireless networks, but these attempts require huge amounts of training samples and lack the capability to handle constrained problems. Furthermore, they suffer from severe performance deterioration when the network parameters change, which commonly happens and is referred to as the task mismatch problem. In this paper, to reduce the sample complexity and address the feasibility issue, we propose a framework of Learning to Optimize for Resource Management (LORM). Instead of the end-to-end learning approach adopted in previous studies, LORM learns the optimal pruning policy in the branch-and-bound algorithm for MINLPs via a sample-efficient method, namely, imitation learning. To further address the task mismatch problem, we develop a transfer learning method via self-imitation in LORM, named LORM-TL, which can quickly adapt a pre-trained machine learning model to the new task with only a few additional unlabeled training samples. Numerical simulations will demonstrate that LORM outperforms specialized state-of-the-art algorithms and achieves near-optimal performance, while achieving significant speedup compared with the branch-and-bound algorithm. Moreover, LORM-TL, by relying on a few unlabeled samples, achieves comparable performance with the model trained from scratch with sufficient labeled samples.

연구 동기 및 목표

• 기존의 기계 학습 기반 접근법에서 자원 할당을 위한 높은 샘플 복잡도와 실현 가능성 문제를 해결하기 위해.
• 네트워크 파라미터가 변경될 경우 성능이 저하되는 작업 불일치 문제를 해결하기 위해, 새로운 조건에 대해 신속하게 적응할 수 있도록 하기 위해.
• 혼합정수비선형계획문제(MINLP)에서 계산 복잡도와 훈련 데이터 요구량을 줄이면서 거의 최적의 성능를 유지하기 위해.
• 동적인 무선 환경에서 빠른 모델 적응을 위해 레이블이 없는 샘플을 활용하는 전이 학습 메커니즘을 개발하기 위해.

제안 방법

• LORM은 MINLP 문제의 분기-한계 알고리즘에서 최적의 절단 결정을 학습하는 정책 네트워크를 훈련하기 위해 유사 학습을 활용한다.
• 이 프레임워크는 작은 규모의 레이블된 최적 해 집합을 기반으로 훈련되어, 종단 간 훈련 없이도 절단 전략을 효율적으로 학습할 수 있다.
• LORM-TL은 새로운 작업 분포에서의 소수의 레이블이 없는 샘플을 사용하여 사전 훈련된 모델을 미세 조정하는 자기 유사 학습을 도입한다.
• LORM-TL에서의 자기 유사 학습은 모델 자체의 예측에서 가짜 레이블을 생성함으로써 적응 효율성을 향상시킨다.
• 이 방법은 수렴 속도를 높이면서도 해의 실현 가능성을 유지하는 분기-한계 프레임워크와 통합되어 있다.
• 이 방법은 무선 자원 할당에서 흔히 발생하는 제약 조건이 있는 MINLP 문제를 다룰 수 있도록 설계되어 실용적인 실현 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 유사 학습은 무선 자원 할당을 위한 기계 학습 모델 훈련의 샘플 복잡도를 줄일 수 있는가?
• RQ2 자기 유사 학습 기반 전이 학습 방법은 최소한의 레이블된 데이터로 새로운 네트워크 조건에 대해 신속하게 적응할 수 있는가?
• RQ3 제안된 프레임워크는 속도 면에서 기존의 표준 분기-한계 알고리즘보다 뚜렷하게 뛰어난 성능을 내며 거의 최적의 성능를 달성하는가?
• RQ4 소수의 레이블된 샘플만 존재할 경우, LORM-TL의 성능는 완전히 새로 훈련된 모델과 비교해 어떻게 되는가?

주요 결과

• LORM는 무선 자원 할당에서 거의 최적의 성능를 달성하면서도, 특화된 최첨단 알고리즘들보다 뚜렷하게 뛰어난 성능를 보였다.
• LORM는 표준 분기-한계 알고리즘 대비 계산 복잡도를 줄이고 수렴 속도를 향상시켰다.
• LORM-TL는 추가적인 레이블이 없는 샘플이 소수만 있더라도, 완전히 새로 훈련된 모델과 유사한 성능를 달성했다.
• 이 프레임워크는 새로운 네트워크 파rameter 설정에 대해 신속하게 적응할 수 있도록 함으로써 작업 불일치 문제를 효과적으로 해결했다.
• 유사 학습의 활용은 샘플 효율적인 훈련을 가능하게 하여 대규모 레이블 데이터셋에 대한 의존도를 줄였다.