[논문 리뷰] Transfer Learning for Mixed-Integer Resource Allocation Problems in Wireless Networks

Yifei Shen, Yuanming Shi외 2명|arXiv (Cornell University)|2018. 11. 17.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 4

한 줄 요약

이 논문은 무선 네트워크에서 기계학습 기반 자원 할당 시 네트워크 조건 변화로 인한 성능 저하 문제를 해결하기 위해 자기 모방을 통한 전이 학습 방법을 제안한다. 사전 학습된 모델이 변화하는 네트워크 환경에서 성능이 떨어지는 문제를 해결하기 위해, 새로운 환경의 비라벨 데이터를 활용하고 탐색 과정에서 확보한 최고의 해를 가짜 레이블로 사용함으로써, 최소한의 라벨 데이터로 정책을 미세조정한다. 이로 인해 최적에 가까운 성능를 달성하고, 초기 학습과 비교해 최대 15배 빠른 학습 속도를 기록한다.

ABSTRACT

Effective resource allocation plays a pivotal role for performance optimization in wireless networks. Unfortunately, typical resource allocation problems are mixed-integer nonlinear programming (MINLP) problems, which are NP-hard. Machine learning based methods recently emerge as a disruptive way to obtain near-optimal performance for MINLP problems with affordable computational complexity. However, they suffer from severe performance deterioration when the network parameters change, which commonly happens in practice and can be characterized as the task mismatch issue. In this paper, we propose a transfer learning method via self-imitation, to address this issue for effective resource allocation in wireless networks. It is based on a general "learning to optimize" framework for solving MINLP problems. A unique advantage of the proposed method is that it can tackle the task mismatch issue with a few additional unlabeled training samples, which is especially important when transferring to large-size problems. Numerical experiments demonstrate that with much less training time, the proposed method achieves comparable performance with the model trained from scratch with sufficient amount of labeled samples. To the best of our knowledge, this is the first work that applies transfer learning for resource allocation in wireless networks.

연구 동기 및 목표

• 동적 무선 네트워크에서 기계학습 기반 자원 할당 시 네트워크 파라미터 변화로 인한 성능 저하 문제를 해결하기 위해.
• 특히 대규모 혼합정수비선형계획문제(MINLP)에 대해 새로운 네트워크 설정에서 모델 재학습 시 학습 시간과 라벨링 비용을 줄이기 위해.
• 소수의 비라벨 샘플과 자기 생성 레이블만을 사용해 사전 학습된 정책을 새로운 시나리오에 효율적으로 적응시키기 위해.
• 전체 라벨 데이터셋으로 학습한 모델에 비해 성능이 유사한 자기 모방을 통한 전이 학습이 가능함을 입증하기 위해.

제안 방법

• 무선 네트워크에서 MINLP 문제를 해결하기 위해 분기한정 알고리즘을 기반으로 하는 일반적인 '최적화를 위한 학습' 프레임워크를 사용한다.
• 이 방법은 특정 네트워크 구성에서 풍부한 라벨 데이터를 가진 소스 데이터셋에서 정책을 먼저 학습한다.
• 전이 과정에서는 사전 학습된 정책을 탐색 정책과 혼합하여 대상 네트워크 설정에서 분기한정 트리를 탐색하고, 비라벨 샘플을 생성한다.
• 탐색 과정에서 확보한 최고의 해를 가짜 레이블로 사용하여 정책을 미세조정함으로써 외부 레이블링이 필요 없도록 한다.
• 자기 모방 과정에서는 트리 탐색 중 이용과 탐색의 균형을 맞추기 위해 동적 혼합 비율 α = min(1, 0.2k)을 사용한다.
• 이 방법은 클라우드-RAN 프론트홀 전력 최소화 문제에 적용되며, 정수 변수는 RRH 선택과 사용자 할당을 나타낸다.

실험 결과

연구 질문

• RQ1 네트워크 조건 변화 시 기계학습 기반 자원 할당에서 자기 모방을 통한 전이 학습이 성능 저하를 효과적으로 완화할 수 있는가?
• RQ2 새로운 환경의 소수의 비라벨 샘플만으로 외부 레이블링 없이 효과적인 정책 미세조정이 가능한가?
• RQ3 전체 라벨 데이터셋으로 학습한 모델과 비교해 성능 격차와 학습 속도 측면에서 제안된 방법은 어떠한가?
• RQ4 다양한 네트워크 구성(예: 사용자 수, RRH 수, 사용자 분포 등)에서도 이 방법이 높은 성능를 유지하는가?

주요 결과

• 제안된 자기 모방 전이 학습 방법은 다양한 대상 SINR 수준에서 최적 해와 0.7%에서 2.4% 이내의 성능 격차를 기록하며, '초기 학습' 기준선과 유사한 성능를 달성한다.
• 초기 학습과 비교해 학습 시간을 10.1배에서 15.6배 빠르게 하며, 소스와 타겟 분포가 유사한 시나리오에서 가장 높은 속도 향상을 기록한다.
• 동적 사용자 이동성 상황에서는 분기한정 알고리즘 대비 22.9배에서 23.4배의 빠른 학습 속도를 기록하며, 전체 라벨 학습 기준선과 동일한 성능를 달성한다.
• 학습 속도 향상은 소스 작업에서의 지식 전이와 외부 레이블 생성 시간 제거 덕분이며, 미세조정에 외부 레이블이 필요 없기 때문이다.
• 다른 네트워크 구성(예: 다른 RRH 및 사용자 수)의 경우에도 성능 격차는 0.5%에서 1.9% 이내이며, 분기한정 알고리즘 대비 13.4배의 빠른 학습 속도를 기록한다.