[논문 리뷰] Automatic Curriculum Generation for Learning Adaptation in Networking

Zhengxu Xia, Yajie Zhou외 2명|arXiv (Cornell University)|2022. 02. 12.

Software-Defined Networks and 5G인용 수 5

한 줄 요약

Genet는 현재 강화학습(RL) 정책이 규칙 기반 베이스라인보다 유의미하게 열 劣한 환경을 우선순위로 정하여 네트워킹 분야의 딥 강화학습(RL)을 위한 자동 훈련 커리큘럼을 생성하는 새로운 커리큘럼 학습 프레임워크이다. 반복적으로 이들 높은 성능 격차를 보이는 환경을 식별하고 재학습함으로써 Genet는 적응형 비디오 스트리밍, 혼잡 제어, 로드 밸런싱 분야에서 최종 성능과 일반화 능력을 모두 향상시키며, 표준 RL 훈련과 전통적인 베이스라인을 능가한다.

ABSTRACT

As deep reinforcement learning (RL) showcases its strengths in networking and systems, its pitfalls also come to the public's attention--when trained to handle a wide range of network workloads and previously unseen deployment environments, RL policies often manifest suboptimal performance and poor generalizability. To tackle these problems, we present Genet, a new training framework for learning better RL-based network adaptation algorithms. Genet is built on the concept of curriculum learning, which has proved effective against similar issues in other domains where RL is extensively employed. At a high level, curriculum learning gradually presents more difficult environments to the training, rather than choosing them randomly, so that the current RL model can make meaningful progress in training. However, applying curriculum learning in networking is challenging because it remains unknown how to measure the "difficulty" of a network environment. Instead of relying on handcrafted heuristics to determine the environment's difficulty level, our insight is to utilize traditional rule-based (non-RL) baselines: If the current RL model performs significantly worse in a network environment than the baselines, then the model's potential to improve when further trained in this environment is substantial. Therefore, Genet automatically searches for the environments where the current model falls significantly behind a traditional baseline scheme and iteratively promotes these environments as the training progresses. Through evaluating Genet on three use cases--adaptive video streaming, congestion control, and load balancing, we show that Genet produces RL policies which outperform both regularly trained RL policies and traditional baselines in each context, not only under synthetic workloads but also in real environments.

연구 동기 및 목표

• 다양한 또는 좁은 네트워크 분포에서 훈련된 RL 기반 네트워크 적응 알고리즘의 열악한 일반화 능력과 최적화되지 않은 성능 문제를 해결하기 위해.
• 어려움이 쉽게 정량화되지 않는 네트워킹 환경에서 '보람 있는' 훈련 환경을 식별하는 데 도전하는 데.
• 높은 영향력을 지닌 환경의 커리큘럼을 체계적으로 구성함으로써 RL 훈련 효율성과 최종 성능을 향상시키기 위해.
• 목표 지향적이고 데이터 기반의 커리큘럼 생성을 통해 예측 불가능한 네트워크 조건에서도 더 나은 일반화를 가능하게 하기 위해.
• 기존의 규칙 기반 베이스라인을 성능 기준으로 활용하여 확장 가능하고 자동화된 커리큘럼 학습 프레임워크를 제공하기 위해.

제안 방법

• Genet는 주어진 네트워크 환경에서 현재 RL 정책과 규칙 기반 베이스라인 간의 성능 차이를 '베이스라인 대비 격차(gap-to-baseline)' 지표로 정의한다.
• 이 지표를 기반으로 큰 격차를 보이는 환경을 재학습 대상으로 삼는 높은 잠재력의 훈련 후보로 자동으로 식별한다.
• 프레임워크는 반복적으로 이러한 높은 격차 환경을 훈련 커리큘럼에 포함시켜 점차 훈련 난이도를 높인다.
• 성능 향상의 여지가 가장 큰 환경으로 간주하여, 규칙 기반 베이스라인을 최적 또는 근접 최적 성능의 대리자로 사용한다.
• RL 정책의 성능 변화에 따라 커리큘럼을 동적으로 업데이트하여 지속적으로 가장 유익한 훈련 예제에 집중한다.
• 규칙 기반 베이스라인이 존재하지 않을 경우의 대체 전략을 지원하며, 이는 정확한 지식을 갖춘 최적 솔루션을 사용하거나 사전 학습된 RL 모델을 베이스라인으로 간주하는 방식이다.

실험 결과

연구 질문

• RQ1 자동 커리큘럼 학습이 RL 기반 네트워크 적응 알고리즘의 성능과 일반화 능력을 향상시킬 수 있는가?
• RQ2 어려움이 직접 관측되지 않는 네트워킹 환경에서 '보람 있는' 훈련 환경를 자동으로 식별할 수 있는가?
• RQ3 규칙 기반 베이스라인과의 큰 성능 격차를 보이는 환경을 우선순위로 삼는 것이 무작위 또는 히ュ리스틱 기반 커리큘럼 스케줄링보다 더 효과적인 RL 훈련을 이끌 수 있는가?
• RQ4 Genet는 다양한 네트워킹 워크로드에서 표준 RL 훈련과 전통적인 규칙 기반 베이스라인을 능가할 수 있는가?
• RQ5 특히 RL 모델의 결정 해상도가 낮을 경우, '베이스라인 대비 격차' 지표가 커리큘럼 신호로써 가지는 한계는 무엇인가?

주요 결과

• Genet는 적응형 비디오 스트리밍, 혼잡 제어, 로드 밸런싱의 세 가지 네트워킹 사용 사례에서 RL 정책의 최종 성능을 크게 향상시킨다.
• 적응형 비디오 스트리밍 분야에서 Genet로 훈련된 정책는 표준 RL 훈련과 기존의 ABR 알고리즘(BBA, MPC)을 모두 능가한다.
• 혼잡 제어 분야에서 Genet가 생성한 커리큘럼은 커리큘럼 학습 없이 훈련된 정책보다 더 높은 대역폭과 더 낮은 손실을 달성한다.
• 로드 밸런싱 분야에서 Genet는 성능과 일반화 능력을 모두 향상시키며, 특히 예측 불가능한 네트워크 조건에서 두드러진 성능 향상을 보인다.
• 베이스라인 대비 격차 지표는 훈련 잠재력의 강력한 지표이며, 큰 격차를 보이는 환경는 재학습 시 일관되게 가장 큰 성능 향상을 제공한다.
• 특히 결정 해상도가 낮은 경우(예: 모니터링 간격 기반 정책), RL 모델이 여전히 성능 향상을 경험하지만, 미세 조절이 필요한 시나리오에서는 성능 향상이 제한된다.