[논문 리뷰] Resource Allocation of Federated Learning for the Metaverse with Mobile Augmented Reality

Xinyu Zhou, Chang Liu외 1명|arXiv (Cornell University)|2022. 11. 16.

Privacy-Preserving Technologies in Data인용 수 4

한 줄 요약

이 논문은 메타버스 내 모바일 증강현실(MAR) 시스템에서 연합학습(FL)을 위한 통합 자원 할당 프레임워크를 제안하며, 대역폭, 전송 전력, CPU 주파수 및 영상 해상도를 최적화하여 에너지, 지연 시간, 모델 정확도의 가중 조합을 최소화한다. 제안된 알고리즘은 모든 지표에서 벤치마크를 능가하며, 특히 엄격한 시간 제약 조건 하에서 뛰어난 성능을 보인다.

ABSTRACT

The Metaverse has received much attention recently. Metaverse applications via mobile augmented reality (MAR) require rapid and accurate object detection to mix digital data with the real world. Federated learning (FL) is an intriguing distributed machine learning approach due to its privacy-preserving characteristics. Due to privacy concerns and the limited computation resources on mobile devices, we incorporate FL into MAR systems of the Metaverse to train a model cooperatively. Besides, to balance the trade-off between energy, execution latency and model accuracy, thereby accommodating different demands and application scenarios, we formulate an optimization problem to minimize a weighted combination of total energy consumption, completion time and model accuracy. Through decomposing the non-convex optimization problem into two subproblems, we devise a resource allocation algorithm to determine the bandwidth allocation, transmission power, CPU frequency and video frame resolution for each participating device. We further present the convergence analysis and computational complexity of the proposed algorithm. Numerical results show that our proposed algorithm has better performance (in terms of energy consumption, completion time and model accuracy) under different weight parameters compared to existing benchmarks.

연구 동기 및 목표

• 메타버스 기반 모바일 증강현실(MAR) 응용 프로그램에서 정확하고 프라이버시를 보장하는 객체 탐지 모델을 훈련하는 데 도전 과제를 해결한다.
• 데이터 가용성 부족과 프라이버시 우려의 한계를 극복하기 위해 MAR 시스템에 연합학습(FL)을 통합한다.
• FL-MAR 시스템에서 에너지 소비, 완료 시간, 모델 정확도를 균형 잡는 통합 최적화 문제를 수립한다.
• 각 장치당 대역폭, 전송 전력, CPU 주파수 및 영상 해상도를 동적으로 할당하는 자원 할당 알고리즘을 설계한다.
• 다양한 응용 시나리오에 적응 가능하도록 다목적 최적화의 가중치 파rameter를 조정한다.

제안 방법

• 전체 에너지, 완료 시간, 모델 정확도의 가중 합을 최소화하는 비볼록 다목적 최적화 문제를 수립한다.
• 문제를 전송 자원 할당 및 계산 자원 할당의 두 하위문제로 분해하고, 반복적으로 해결한다.
• 에너지-지연 트레이드오프의 분수형 프로그래밍 성격을 다루기 위해 Dinkelbach 방법을 사용한다.
• 지연 시간 및 계산 제약 조건에서 유도된 식을 기반으로 각 장치의 CPU 주파수를 고정하여 타당성을 확보한다.
• 전송 전력 및 대역폭 최적화에서의 비볼록성을 다루기 위해 순차적 볼록 근사(SOA)를 적용한다.
• 영상 프레임 해상도를 최적화 변수로 통합하여 데이터 전송량을 줄이면서도 모델 성능을 유지한다.

Figure 1 : Federated learning with mobile augmented reality (FL-MAR) for the Metaverse.

실험 결과

연구 질문

• RQ1 대역폭, 전송 전력, CPU 주파수 및 영상 해상도를 통합 최적화하여 에너지, 지연 시간, 정확도를 균형 잡을 수 있는 방법은 무엇인가?
• RQ2 FL-MAR 시스템에서 에너지 효율성, 훈련 완료 시간, 모델 정확도 간 트레이드오프에 미치는 가중치 파rameter의 변화 영향은 무엇인가?
• RQ3 단지 전송 에너지만 최적화하거나 단지 계산 에너지만 최적화하는 기준 기반 기법과 비교해 제안된 알고리즘이 어떻게 성능을 냅니다?
• RQ4 어떤 시나리오에서 제안된 알고리즘이 기존 방법보다 뚜렷이 뛰어나며, 특히 엄격한 시간 제약 조건 하에서 어떤가?
• RQ5 제안된 자원 할당 알고리즘의 수렴 행동과 계산 복잡도는 어떻게 되는가?

주요 결과

• 모든 테스트된 가중치 파rameter에서 제안된 알고리즘이 계산 전용 및 전송 전용 기법보다 낮은 총 에너지 소비를 달성한다.
• 전송 에너지가 총 에너지 소비의 주요 부분을 차지하므로, 전송 자원 최적화가 에너지 절감에 핵심적이다.
• 최대 완료 시간이 짧아질수록 제안된 알고리즘과 벤치마크(Scheme 1) 간의 성능 격차가 커지며, 엄격한 지연 제약 조건 하에서 뛰어난 성능을 보임을 시사한다.
• 완료 시간이 150초일 경우, 초기 전송 전력 설정이 높아지면서 에너지 소비의 비단조화적 경향을 보이지만, 여전히 벤치마크를 능가한다.
• 알고리즘이 신뢰성 있게 수렴하며, 관리 가능한 계산 복잡도를 보이며, MAR 기반 메타버스 시스템의 실시간 구현에 적합하다.
• 영상 프레임 해상도의 통합 최적화가 전체 시스템 성능 향상에 기여하며, 이 변수를 제거할 경우 성능 효과가 떨어진다.

Figure 2 : Illustration of the 1st convolutional layer in a CNN. In this example, padding is 0 and stride is 1. $c_{0}$ is the default number of channels (e.g., in a color image, we have three channels). $c_{1}$ is the number of kernels, the same as the number of output channels. $m_{1}$ is calculat