[논문 리뷰] A Machine Learning Approach to Routing

Asaf Valadarsky, Michael Schapira외 2명|arXiv (Cornell University)|2017. 08. 10.

Software-Defined Networks and 5G참고 문헌 28인용 수 19

한 줄 요약

이 논문은 심층 강화학습을 사용하여 트래픽 이력에서 직접 라우팅 규칙을 학습함으로써 도메인 내 트래픽 엔지니어링을 위한 기계학습 기반 접근법을 제안한다. 기존의 방법과 감독 학습 기반 수요 예측 방식보다 성능이 뛰어나며, 합성 트래픽 패턴에서 최적에 가까운 혼잡도 성능을 달성함을 입증한다.

ABSTRACT

Can ideas and techniques from machine learning be leveraged to automatically generate "good" routing configurations? We investigate the power of data-driven routing protocols. Our results suggest that applying ideas and techniques from deep reinforcement learning to this context yields high performance, motivating further research along these lines.

연구 동기 및 목표

• 기계학습이 도메인 내 트래픽 엔지니어링에서 전통적이고 전문가가 설계한 라우팅 프로토콜을 대체할 수 있는가를 조사하는 것.
• 특히 고차원 출력 공간에서 라우팅을 기계학습 문제로 포지셔닝하는 데 도전하는 것.
• 사전에 향후 트래픽 수요를 예측하는 대신, 트래픽 이력에서 직접 라우팅 구성 설정을 학습하는 것이 성능을 높이는가를 평가하는 것.
• 성능과 복잡도의 균형을 잡는 표현력 있는 라우팅 정책 표현 방식을 개발하는 것.
• 네트워킹 분야에서 데이터 기반 라우팅에 대한 광범위한 연구 계획의 기초를 마련하는 것.

제안 방법

• 트래픽 이력에서 라우팅 구성으로의 직접 매핑을 학습하는 정책을 학습하는 강화학습 문제로 도메인 내 트래픽 엔지니어링을 공식화한다.
• 심층 강화학습을 사용하여 트래픽 수요 시퀀스에 대해 에이전트를 학습시키며, Trust Region Policy Optimization (TRPO)를 적용한다.
• 트래픽을 여러 다음 점으로 분할하는 소프트민 기반 라우팅 표현 방식을 사용하여 표현력은 유지하면서도 효율적인 정책 학습을 가능하게 한다.
• 기본 라우팅 기반 방식인 옴니버스 라우팅, 최대-최소 최적화 라우팅, 소프트민 라우팅과의 성능 비교를 수행한다.
• 중력 기반 및 이중 정점 분포를 포함한 합성 트래픽 수요 시퀀스에서 정책을 학습하고 평가한다.
• 혼잡도 성능 평가를 위해 주로 최대 링크 이용률(max-link-utilization)을 성능 지표로 사용한다.

실험 결과

연구 질문

• RQ1 심층 강화학습을 사용해 트래픽 이력에서 직접 라우팅 구성 설정을 효과적으로 학습할 수 있는가, 특히 명시적인 트래픽 수요 예측 과정을 생략할 수 있는가?
• RQ2 기계학습 기반 라우팅 성능은 옴니버스 라우팅 및 최대-최소 최적화 라우팅과 같은 기존 수동 설계 라우팅 방식보다 어떻게 비교되는가?
• RQ3 고차원적이고 규칙 기반의 출력 공간으로 인해 라우팅에 강화학습을 적용할 때 발생하는 주요 과제는 무엇인가?
• RQ4 소프트민 라우팅과 같은 제약 조건이 있는 출력 표현 방식은 표현력을 유지하면서 효과적인 학습을 가능하게 하는가?
• RQ5 어떤 트래픽 조건에서 데이터 기반 라우팅이 기존 접근 방식보다 뚜렷하게 뛰어난 성능을 보이는가?

주요 결과

• 심층 강화학습은 다양한 트래픽 패턴에서 최대 링크 이용률을 최소화하는 데 거의 최적의 성능을 달성하는 라우팅 정책을 성공적으로 학습시켰다.
• 강화학습을 통해 학습된 소프트민 라우팅은 이중 정점 트래픽 수요 시퀀스에서 옴니버스 라우팅 및 최대-최소 최적화 라우팅보다 뛰어난 성능을 보였다.
• 중력 기반 트래픽 패턴에서는 소프트민 라우팅이 옴니버스 라우팅과 거의 동일한 성능을 보였으며, 이는 높은 일반화 능력을 시사한다.
• 감독 학습을 통한 트래픽 수요 예측은 트래픽 패턴의 규칙성이 낮아 효과적이지 않아 이 맥락에서 유용성이 제한됨을 발견했다.
• 소프트민 라우팅 표현 방식을 사용함으로써 고차원적인 라우팅 규칙 세트의 특성에도 불구하고 효과적인 정책 학습이 가능했다.
• 강화학습 기반 라우팅은 안정성과 적응성의 균형을 잘 이루고 있음을 보여주며, 확장성 및 실세계 평가 문제는 여전히 열려 있는 과제로 남아 있다.