[논문 리뷰] Reinforcement Learning of Graph Neural Networks for Service Function Chaining

DongNyeong Heo, Do‐Young Lee외 3명|arXiv (Cornell University)|2020. 11. 17.

Software-Defined Networks and 5G참고 문헌 10인용 수 4

한 줄 요약

이 논문은 레이블이 없는 데이터로도 일반화할 수 있도록, 동적 네트워크 구조에서 서비스 기능 체인(SFC)을 위한 그래프 신경망(GNN)을 훈련하기 위한 강화학습(RL) 프레임워크를 제안한다. 경로 유효성과 지연 기반의 희박한 보상(reward)을 사용하여, 고정된 네트워크 구조에서는 지도학습과 유사한 성능를 달성하지만, 새로운 네트워크 구조에서 훨씬 뛰어난 성능을 보이며, 강건성과 적응성의 가능성을 입증한다.

ABSTRACT

In the management of computer network systems, the service function chaining (SFC) modules play an important role by generating efficient paths for network traffic through physical servers with virtualized network functions (VNF). To provide the highest quality of services, the SFC module should generate a valid path quickly even in various network topology situations including dynamic VNF resources, various requests, and changes of topologies. The previous supervised learning method demonstrated that the network features can be represented by graph neural networks (GNNs) for the SFC task. However, the performance was limited to only the fixed topology with labeled data. In this paper, we apply reinforcement learning methods for training models on various network topologies with unlabeled data. In the experiments, compared to the previous supervised learning method, the proposed methods demonstrated remarkable flexibility in new topologies without re-designing and re-training, while preserving a similar level of performance.

연구 동기 및 목표

• 지도학습의 한계를 해결하기 위해, 레이블이 필요한 데이터가 필요하고 새로운 네트워크 구조에서는 실패하는 문제를 해결한다.
• 재훈련 없이도 다양한 동적 네트워크 구조에 일반화할 수 있는 유연한 SFC 모듈을 개발한다.
• 레이블이 제공된 경로에 의존하지 않고 환경에서 제공하는 보상만을 사용하여 GNN 기반 SFC 모델의 엔드 투 엔드 훈련을 가능하게 한다.
• 가변적인 VNF 위치와 네트워크 구조 변화 상황에서도 SFC 경로 생성의 강건성을 향상시킨다.

제안 방법

• 경로 유효성과 지연 페널티를 조합한 맞춤형 보상 함수를 사용하여, REINFORCE 알고리즘을 적용해 GNN 기반 SFC 모델을 훈련시켰다.
• 희박한 보상 신호를 설계: 성공적인 경로 생성에 +1, 실패에 -1, 지연 페널티는 하이퍼파라미터 λ에 비례하여 조정.
• 훈련 중에 두 가지 네트워크 구조 증강 전략을 도입: 무작위로 노드/엣지 추가/제거 및 무작위 VNF 재위치 설정을 통해 다양한 네트워크 상태를 시뮬레이션.
• 이전 연구에서 사용된 동일한 GG-RNN 아키텍처를 사용했지만, 지도학습 대신 강화학습을 통해 미세조정(fine-tuned)하였다.
• 훈련 중 탐색과 이용의 균형을 위해 ε = 0.01인 ε-그리디 탐색을 적용하였다.
• 각 에피소드당 100개의 무작위로 생성된 네트워크 구조에서 훈련하여, 다양한 네트워크 구조적 다양성에 노출되도록 하였다.

실험 결과

연구 질문

• RQ1 강화학습이 고비용의 ILP 솔버에서 제공하는 레이블 경로에 의존하지 않고도 GNN을 SFC에 훈련시킬 수 있는가?
• RQ2 지도학습 대비 강화학습 기반 훈련이 새로운 네트워크 구조로의 일반화에 어떤 영향을 미치는가?
• RQ3 보상 함수에 지연 페널티를 통합함으로써 강화학습 기반 모델의 경로 품질이 향상되는가?
• RQ4 훈련 중 다양한 네트워크 구조 증강 전략이 구조적 변화에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 강화학습 기반 SFC 모델은 원래 네트워크 구조에서의 성능를 유지하면서도 새로운 네트워크 구조에서도 높은 성능를 유지할 수 있는가?

주요 결과

• 원래의 'internet2' 네트워크 구조에서, RL 방법은 실패 비율 0.00%와 지연 비율 1.01을 기록하여 지도학습 기준선과 동일한 성능를 달성했다.
• 변경된 무작위 네트워크 구조(CS1)에서, RL 모델은 실패 비율을 0.00%로 낮췄고, 지도학습 방법은 1.00%를 기록하여 더 뛰어난 일반화 능력을 입증했다.
• 구조적 변화와 함께 VNF가 재위치된 네트워크 구조(CS2)에서, RL 모델은 실패 비율 0.00%를 유지했고, 지도학습 방법은 1.00%의 실패율을 기록했다.
• λ = 1(지연 페널티 포함)로 훈련한 모델은 지연 비율 1.01을 기록했으며, λ = 0(지연 페널티 없음)의 1.00보다 略로 나은 성능를 보였고, 동적 환경에서의 경로 품질 향상에 기여했다.
• CS2 전략으로 훈련한 RL 모델는 세 번째 테스트에서 CS1보다 더 높은 강건성을 보였으며, 이는 훈련 중 더 풍부한 네트워크 구조 다양성이 적응성 향상에 기여함을 시사한다.
• 변화 감도 지표는 RL 모델가 지도학습 모델보다 네트워크 구조 변화에 훨씬 덜 민감함을 확인했으며, 이는 그 유연성을 검증한다.