[논문 리뷰] Graph Reinforcement Learning for Network Control via Bi-Level Optimization

Daniele Gammelli, J. Harrison외 4명|arXiv (Cornell University)|2023. 05. 16.

Software-Defined Networks and 5G인용 수 6

한 줄 요약

이 논문은 동적 네트워크 제어 문제를 해결하기 위해 이중 최적화를 사용하는 그래프 강화 학습 프레임워크를 제안한다. 여기서 강화 학습 에이전트는 원하는 다음 상태를 지정하고, 볼록 프로그래밍은 이를 달성하기 위한 최적의 동작을 계산한다. 이는 실제 공급망 및 이동성 문제에서 엔드 투 엔드 RL 및 전통적인 최적화 방법에 비해 뛰어난 확장성, 샘플 효율성 및 성능을 달성한다.

ABSTRACT

Optimization problems over dynamic networks have been extensively studied and widely used in the past decades to formulate numerous real-world problems. However, (1) traditional optimization-based approaches do not scale to large networks, and (2) the design of good heuristics or approximation algorithms often requires significant manual trial-and-error. In this work, we argue that data-driven strategies can automate this process and learn efficient algorithms without compromising optimality. To do so, we present network control problems through the lens of reinforcement learning and propose a graph network-based framework to handle a broad class of problems. Instead of naively computing actions over high-dimensional graph elements, e.g., edges, we propose a bi-level formulation where we (1) specify a desired next state via RL, and (2) solve a convex program to best achieve it, leading to drastically improved scalability and performance. We further highlight a collection of desirable features to system designers, investigate design decisions, and present experiments on real-world control problems showing the utility, scalability, and flexibility of our framework.

연구 동기 및 목표

• 대규모 동적 네트워크 제어 문제에서 전통적인 최적화 및 히우리스틱 방법의 확장성 및 성능 한계를 해결하기 위해.
• 수동적인 시도와 오류 방식에 의존하는 것을 줄이고 데이터 기반 전략을 통해 효율적인 제어 알고리즘 설계를 자동화하기 위해.
• 그래프 신경망, 강화 학습 및 볼록 최적화의 강점을 융합하여 강건하고 일반화 가능한 해법을 제공하기 위해.
• 복잡하고 확률적이거나 비선형적인 네트워크 제어 환경에서 샘플 효율성과 수렴 속도를 향상시키기 위해.
• 이 프레임워크가 실제 문제, 예를 들어 동적 차량 경로 설정 및 재고 제어에 효과적으로 적용됨을 입증하기 위해.

제안 방법

• 프레임워크는 이중 최적화 구조를 사용한다: RL 에이전트가 원하는 다음 상태를 출력하고, 볼록 프로그래밍이 이를 달성하기 위한 최적의 동작을 계산한다.
• 상태 및 동작 표현을 위한 정 polit 및 가치 함수를 파arameter화하기 위해 합산 집계와 다층 퍼셉트론을 사용하는 그래프 신경망(GNN)을 사용한다.
• 행동 공간은 유량 보존 및 용량 제약 조건을 만족시키면서 재균형 비용을 최소화하는 선형 제어 프로그램(LCP)을 통해 정의된다.
• 고차원 행동 예측와 상태 지정을 분리함으로써 확장 가능하고 해석 가능한 의사결정을 가능하게 한다.
• 스토케스틱 정책을 GNN으로 파arameter화하여 탐색을 달성하며, 행동은 평균 및 분산 출력에서 유도된다.
• 정책 기반 방법을 통해 학습되며, 비평가가 가치 함수를 추정하고, 액터는 정책 업데이트를 통해 행동을 개선한다.

실험 결과

연구 질문

• RQ1 이중 최적화 RL 프레임워크는 네트워크 제어 문제에서 엔드 투 엔드 딥 강화 학습에 비해 샘플 효율성과 성능 면에서 뛰어나게 작용할 수 있는가?
• RQ2 그래프 기반 RL과 볼록 최적화를 통합함으로써 동적 네트워크 문제에서 확장성과 강건성을 어떻게 향상시킬 수 있는가?
• RQ3 집계 함수, 행동 파arameter화, 탐색 전략과 같은 아키텍처 선택 중에서 성능에 가장 큰 영향을 미치는 요소는 무엇인가?
• RQ4 이 프레임워크는 다양한 네트워크 구조와 운영 조건 간에 얼마나 잘 일반화되는가?
• RQ5 실제 공급망 및 이동성 응용 분야에서 전통적인 최적화 및 도메인 특화 히우리스틱과 비교해 본 결과, 이 방법은 어떤가?

주요 결과

• 제안된 그래프-RL 프레임워크는 엔드 투 엔드 RL보다 수렴 속도가 빠르고 최종 성능이 뛰어나며, 후자는 수렴하기 위해 80,000번 이상의 학습 스텝이 필요하다.
• 이중 접근법은 샘플 효율성을 크게 향상시켜 효과적인 정책을 학습하기 위해 필요한 상호작용 횟수를 줄였다.
• 이 방법은 동적 차량 경로 설정 및 재고 제어 과제에서 전통적인 최적화 기반 접근법과 도메인 특화 히우리스틱 모두를 능가한다.
• 프레임워크는 네트워크 구조 변화나 운영 조건 변화에 대해 강건성을 보이며, 다양한 시나리오에서 높은 성능을 유지한다.
• 절단 실험 결과 그래프 집계 함수와 행동 파arameter화가 성능에 가장 큰 영향을 미치며, 합산 집계가 최적의 결과를 도출함을 확인했다.
• 시각화 결과 정책이 주행 시간 변화나 네트워크 구조 변화(예: 경로 재정렬, 새로운 간선 추가)에 효과적으로 적응하는 것으로 나타났다.