[논문 리뷰] HyMER: A Hybrid Machine Learning Framework for Energy Efficient Routing in SDN.

Beakal Gizachew Assefa, Öznur Özkasap|arXiv (Cornell University)|2019. 08. 27.

Software-Defined Networks and 5G참고 문헌 20인용 수 9

한 줄 요약

HyMER는 표본 학습을 통한 특징 축소 및 파라미터 예측과 강화 학습을 통한 동적 적응을 조합하는 에너지 효율적인 SDN 라우팅을 위한 새로운 하이브리드 기계학습 프레임워크이다. 기존 최고 수준의 방법들과 비교해 특징 크기 최대 70% 감소, 예측 정확도 80% 이상, 링크 절약 50%, 전력 소비 최대 14.7W 감소를 달성한다.

ABSTRACT

Software-defined networks (SDN) with programmable data plane and machine learning for discovering patterns are utilized in security, traffic classification, quality of services prediction, and network performance, that has increasing research attention. Addressing the significance of energy efficiency in networks, we propose a novel hybrid machine learning-based framework named HyMER that combines the capabilities of SDN and machine learning for traffic-aware energy efficient routing. To the best of our knowledge, HyMER is the first that utilizes a hybrid machine learning solution with supervised and reinforcement learning components for energy efficiency and network performance in SDN. The supervised learning component consists of feature extraction, training, and testing. The reinforcement learning component learns from existing data or from scratch by iteratively interacting with the network environment. The HyMER framework is developed on POX controller and is evaluated on Mininet using real-world topologies and dynamic traffic traces. Experimental results show that the supervised component achieves up to 70% feature size reduction and more than 80\% accuracy in parameter prediction. We demonstrate that combining the supervised and reinforcement methods not only does capture the dynamic change more efficiently but also increases the convergence speed. As compared to state-of-the-art utility based energy saving approaches, HyMER heuristics has shown up to 50% link saving, and also exhibits up to 14.7 watts less power consumption for realistic network topology and traffic traces.

연구 동기 및 목표

• 운영 비용과 환경 영향을 줄이기 위해 소프트웨어 정의 네트워크(SDN)에서 에너지 효율성에 대한 점증하는 수요를 해결한다.
• 동적 트래픽 패턴에 대한 적응성이 부족한 기존 에너지 절약 기법의 한계를 극복한다.
• 표본 학습과 강화 학습을 통합하여 SDN에서 에너지 효율성과 네트워크 성능을 향상시키는 하이브리드 기계학습 프레임워크를 개발한다.
• 실시간 트래픽 인식 라우팅 결정을 가능하게 하여 에너지 소비를 최소화하면서도 높은 성능을 유지를 한다.

제안 방법

• 특징 차원을 최대 70% 감소시키기 위해 특징 추출, 학습, 테스트를 위한 표본 학습을 활용한다.
• 네트워크 환경과의 상호작용을 통해 반복적으로 최적의 라우팅 정책을 학습하기 위해 강화 학습을 활용한다.
• 두 학습 요소를 통합하여 수렴 속도 향상과 동적 트래픽 변화에 대한 적응성 향상을 도모한다.
• POX 컨트롤러에 프레임워크를 구현하고, 실제 세계의 토폴로지와 동적 트래픽 트레이스를 사용하여 Mininet에서 평가한다.
• 표본 학습에서 도출된 파라미터 예측 결과를 기반으로 강화 학습 정책 탐색을 안내한다.
• 표본 학습이 초기 정책 추정치를 제공함으로써 강화 학습 과정을 가속화하는 하이브리드 아키텍처를 설계한다.

실험 결과

연구 질문

• RQ1 표본 학습과 강화 학습을 융합한 하이브리드 기계학습 프레임워크가 SDN에서 에너지 효율성을 향상시킬 수 있는가?
• RQ2 표본 학습 구성 요소는 특징 크기 감소와 네트워크 파라미터 정확한 예측에 얼마나 효과적인가?
• RQ3 표본 학습과 강화 학습의 통합은 수렴 속도 향상과 동적 트래픽 변화에 대한 적응성 향상에 얼마나 기여하는가?
• RQ4 링크 활용도와 전력 소비 측면에서 HyMER는 최고 수준의 유틸리티 기반 에너지 절약 방법과 비교해 어떻게 성과를 내는가?

주요 결과

• 표본 학습 구성 요소는 네트워크 파라미터 예측 정확도가 80% 이상을 유지하면서도 특징 크기를 최대 70% 감소시켰다.
• 표본 학습의 정보 기반 초기화 덕분에 강화 학습 단독 대비 더 빠른 수렴을 보였다.
• 실제 네트워크 토폴로지에서 동적 트래픽 조건 하에서 HyMER는 최대 50%의 링크 절약을 달성했다.
• 최고 수준의 유틸리티 기반 에너지 절약 방법과 비교해 최대 14.7와트의 전력 소비 감소를 기록했다.
• 두 학습 철학의 통합은 각각 독립적으로 사용할 경우보다 더 효율적인 동적 트래픽 변화 적응을 가능하게 했다.
• 실제 세계의 토폴로지와 다양한 트래픽 워크로드를 사용한 Mininet 평가를 통해 프레임워크의 확장성과 견고성을 확인했다.