[논문 리뷰] Sim-to-Real Transfer in Multi-agent Reinforcement Networking for Federated Edge Computing

Pinyarash Pinyoanuntapong, Tagore Pothuneedi외 4명|arXiv (Cornell University)|2021. 10. 18.

IoT and Edge/Fog Computing참고 문헌 6인용 수 5

한 줄 요약

이 논문은 다중 홉 무선 네트워크에서 다중 에이전트 강화학습(MA-RL) 최적화된 연합 엣지 컴퓨팅을 위한 고정밀도 리눅스 기반 시뮬레이터인 FedEdge 시뮬레이터를 제안한다. 추적 기반 물리 계층 에뮬레이션과 동적 링크 스케줄링을 통합함으로써 시뮬레이션과 실제 테스트베드 간에 거의 동일한 성능를 달성하여 현실 갭을 최소화하고 효과적인 시뮬레이션에서 실제 환경으로의 지식 전이가 가능하게 한다. 이는 환경 간 동일한 손실 수렴과 벽시계 시간을 통해 검증되었다.

ABSTRACT

Federated Learning (FL) over wireless multi-hop edge computing networks, i.e., multi-hop FL, is a cost-effective distributed on-device deep learning paradigm. This paper presents FedEdge simulator, a high-fidelity Linux-based simulator, which enables fast prototyping, sim-to-real code, and knowledge transfer for multi-hop FL systems. FedEdge simulator is built on top of the hardware-oriented FedEdge experimental framework with a new extension of the realistic physical layer emulator. This emulator exploits trace-based channel modeling and dynamic link scheduling to minimize the reality gap between the simulator and the physical testbed. Our initial experiments demonstrate the high fidelity of the FedEdge simulator and its superior performance on sim-to-real knowledge transfer in reinforcement learning-optimized multi-hop FL.

연구 동기 및 목표

• 다중 에이전트 강화학습(MA-RL)을 통한 연합 엣지 컴퓨팅의 시뮬레이션과 실제 구현 간의 현실 갭을 해소하기 위해.
• 다중 홉 무선 FL 시스템을 위한 RL 정책의 빠른 프로토타이핑과 효율적 훈련을 지원하는 확장 가능한 고정밀도 시뮬레이션 환경을 개발하기 위해.
• 시뮬레이션과 실제 네트워크 행동 간의 격차를 최소화하여 신뢰할 수 있는 시뮬레이션에서 실제 환경으로의 지식 전이를 가능하게 하기 위해.
• 실제 테스트베드와의 직접 비교를 통해 시뮬레이터의 정밀도를 검증하기 위해.
• 실제 무선 다중 홉 네트워크 조건에서 MA-RL 최적화된 FL 라우팅에 대한 비용 효율적이고 대규모 실험을 지원하기 위해.

제안 방법

• FedEdge 시뮬레이터는 하드웨어 기반 FedEdge 실험 프레임워크에 기반하며, 실제 RSSI 추적 재생 기반의 확장된 물리 계층 에뮬레이터를 포함한다.
• 물리 계층 에뮬레이터는 추적 기반 채널 모델링과 동적 링크 스케줄링를 사용하여 실시간 무선 조건, 즉 신호 대 잡음비와 링크 대역폭을 반영한다.
• 링크 스케줄링는 20MHz 채널을 위한 802.11ac MCS 인덱스 표를 사용하여 수신 신호 강도 지표(RSSI)를 전송 속도로 매핑한다.
• 다중 에이전트 강화학습(MA-RL)은 네트워크 유도 지연을 최소화하기 위해 FL 트래픽 포워딩 경로를 최적화하는 데 적용된다.
• 정책 정지 기법을 통해 시뮬레이션에서 물리적 테스트베드로 Q-테이블 전이가 가능한 온라인 RL 훈련과 지식 전이를 지원한다.
• FEMNIST 기준 데이터셋에서의 FL 훈련을 위해 두 개의 컨볼루션 레이어, 맥스 풀링, 128개 유닛을 가진 완전 연결 레이어를 갖는 CNN 모델을 사용한다.

실험 결과

연구 질문

• RQ1 FedEdge 시뮬레이터는 손실 수렴과 벽시계 시간 측면에서 실제 FL 훈련 성능을 어느 정도 재현하는가?
• RQ2 사전 훈련된 MA-RL 정책의 시뮬레이션에서 실제 환경으로의 지식 전이가 실제 테스트베드에서 훈련 시간을 단축시키고 수렴을 향상시키는 데 얼마나 효과적인가?
• RQ3 물리 계층 정밀도—특히 추적 기반 채널 모델링과 동적 스케줄링—는 다중 에이전트 강화학습을 통한 연합 엣지 컴퓨팅에서 현실 갭을 최소화하는 데 어떤 영향을 미치는가?
• RQ4 온라인 RL 훈련의 시뮬레이션 성능은 실제 테스트베드의 온라인 및 타겟 테스트 성능와 비교하여 어떻게 다른가?
• RQ5 이 시뮬레이터는 다중 홉 무선 네트워크에서 MA-RL 최적화된 FL 시스템의 신뢰성 있고 확장 가능하며 효율적인 프로토타이핑을 지원할 수 있는가?

주요 결과

• 20 에포크 동안 최단 경로 라우팅을 사용하여 시뮬레이션과 물리적 테스트베드 간에 거의 동일한 손실 수렴을 달성하여 높은 시뮬레이션 정밀도를 확인하였다.
• 온라인 RL 훈련에서 시뮬레이션과 물리적 테스트베드 간에 50 에포크 후 벽시계 시간 차이가 오직 2분 이내로 나타나 시간적 차이가 극히 미미함을 확인하였다.
• MA-RL 기반 라우팅의 경우 시뮬레이션과 테스트베드 간에 글로벌 라운드 수준의 반복 손실 수렴이 동일하여 효과적인 정책 전이를 입증하였다.
• 시뮬레이션과 테스트베드 실험 모두에서 FL 라운드당 평균 시간은 약 72~80초로 일관되게 유지되었으며, 시뮬레이터가 하드웨어 오버헤드가 적어 略로 빠르게 작동하였다.
• 50개의 FL 라운드 동안의 평균 시간은 모든 접근 방식에서 낮은 분산과 일관된 성능를 보이며 시뮬레이터의 신뢰성을 뒷받침하였다.
• 고정된 Q-테이블을 사용한 물리적 테스트베드의 타겟 테스트는 동적 트래픽 패턴에 적응하지 못함으로써 온라인 훈련보다 略로 열악한 성능를 보였지만, 격차는 미미하여 사전 훈련된 정책의 가치를 확인하였다.