[논문 리뷰] Coded Federated Computing in Wireless Networks with Straggling Devices and Imperfect CSI

Sukjong Ha, Jingjing Zhang외 2명|arXiv (Cornell University)|2019. 01. 16.

Cooperative Communication and Network Coding참고 문헌 18인용 수 7

한 줄 요약

이 논문은 라그랑주 코딩과 하이브리드 셔플 전략을 사용하여 스트래글러 장치와 불완전한 채널 상태 정보(CSI)를 동시에 해결하는 무선 네트워크를 위한 코딩된 피어드 페더레이티드 컴퓨팅 프레임워크를 제안한다. 코딩된 멀티캐스팅과 협업 전송을 슈퍼포지션 코딩과 통합함으로써, 고SNR 조건에서 총 지연 시간—계산 및 통신 지연을 합친 것—을 최소화하는 전략을 제시한다. 이는 슈퍼포지션 코딩이 전통적 방법보다 우수한 성능을 보임을 입증하며, 특히 불완전한 CSI 하에서 두드러진다.

ABSTRACT

Distributed computing platforms typically assume the availability of reliable and dedicated connections among the processors. This work considers an alternative scenario, relevant for wireless data centers and federated learning, in which the distributed processors, operating on generally distinct coded data, are connected via shared wireless channels accessed via full-duplex transmission. The study accounts for both wireless and computing impairments, including interference, imperfect Channel State Information, and straggling processors, and it assumes a Map-Shuffle-Reduce coded computing paradigm. The total latency of the system, obtained as the sum of computing and communication delays, is studied for different shuffling strategies revealing the interplay between distributed computing, coding, and cooperative or coordinated transmission.

연구 동기 및 목표

• 무선 피어드 페더레이티드 컴퓨팅 시스템에서 스트래글러 장치와 불완전한 CSI의 문제를 해결한다.
• 공유 무선 채널에서 계산 지연과 통신 지연의 합으로 총 시스템 지연을 모델링한다.
• 스트래글러 영향과 무선 손상 둘 다를 완화하는 통합 코딩 및 전송 전략을 설계한다.
• 실제 무선 환경에서 다양한 셔플 전략—코딩된 멀티캐스팅, 협업 전송, 슈퍼포지션 코딩—의 성능을 평가한다.
• 총 지연 시간 최소화를 위한 코딩 이득, 협업 이득, CSI 정확도 간의 상호 상충 관계를 정량화한다.

제안 방법

• 스트래글러 영향을 완화하기 위해 입력 데이터에 대해 라그랑주 인코딩을 사용하는 Map-Shuffle-Reduce 프레임워크를 채택한다.
• 반복 코딩을 사용하여 스트래글러 장치가 존재하는 상황에서도 견고한 데이터 복구를 가능하게 한다.
• 세 가지 셔플 전략을 구현한다: 코딩된 멀티캐스팅, 제로포지션 프리코딩을 통한 협업 전송, 불완전한 CSI를 위한 슈퍼포지션 코딩.
• 고SNR 근사치를 사용해 통신 지연을 모델링하며, 지연 시간은 신호 대 잡음비의 로그 스케일에 비례한다.
• 계산 지연(비스트래글러 장치 수에 의존)과 통신 지연(셔플 전략에 의존)을 통합해 총 지연 시간 지표를 구성한다.
• 다양한 CSI 정확도 수준에서 비스트래글러 장치 수와 전송 전략을 최적화하여 총 지연 시간을 최소화한다.

실험 결과

연구 질문

• RQ1 불완전한 CSI는 스트래글러 장치가 존재하는 무선 피어드 페더레이티드 컴퓨팅 시스템의 지연에 어떤 영향을 미치는가?
• RQ2 불완전한 CSI 하에서 코딩된 멀티캐스팅과 협업 전송 간의 최적의 트레이드오프는 무엇인가?
• RQ3 불완전한 CSI 하에서 슈퍼포지션 코딩은 기존 방법 대비 얼마나 지연 성능을 향상시킬 수 있는가?
• RQ4 다변수 다항식의 차수는 셔플 지연과 총 지연 시간에 어떤 영향을 미치는가?
• RQ5 다양한 CSI 정확도 수준에서 총 시스템 지연 시간을 최소화하는 비스트래글러 장치의 최적 수는 얼마인가?

주요 결과

• 슈퍼포지션 코딩 기반 셔플 전략은 모든 비스트래글러 장치 수와 CSI 정확도 수준에서 코딩된 멀티캐스팅 및 협업 전송보다 일관되게 뛰어난 성능을 보인다.
• CSI 정확도 파라미터 α = 1(완전한 CSI)일 경우, 슈퍼포지션 코딩 기반 전략은 한 번의 전송으로도 선형 프리코딩과 동일한 지연을 달성하며, 완전한 CSI 하에서의 최적성은 확인된다.
• α = 0(CSI 없음)일 경우, 슈퍼포지션 코딩 기반 전략은 코딩된 멀티캐스팅 전략으로 축소되며, 다양한 CSI 품질 수준에 대한 적응성을 보여준다.
• q = 20개의 비스트래글러 장치가 있을 경우, 충분한 장치 수 덕분에 반복 코딩으로 r₁ = 1일 때 복구가 가능해지므로 셔플 지연은 다항식 차수 d에 영향을 받지 않는다.
• 총 지연 시간은 CSI 정확도와 시스템 파라미터에 따라 변하는 최적의 비스트래글러 장치 수 q에서 최소화된다.
• q = 10일 경우, 라그랑주 코딩에서 복구 임계값 m*이 증가함에 따라 다항식 차수 d가 증가할수록 셔플 지연이 증가하지만, q = 20일 경우 충분한 부가 정보 덕분에 지연 시간이 정점에 도달해 더 이상 증가하지 않는다.