[논문 리뷰] Online Learning for Wireless Distributed Computing

Yi‐Hsuan Kao, Kwame-Lante Wright외 2명|arXiv (Cornell University)|2016. 11. 09.

Advanced Bandit Algorithms Research참고 문헌 13인용 수 6

한 줄 요약

이 논문은 동적 무선 분산 컴퓨팅 환경에서 작업 할당을 위한 새로운 온라인 학습 알고리즘인 MABSTA를 제안한다. 정적 또는 확률적 가정 없이 적대적 다중 손잡이 밴딧 프레임워크를 사용하여 MABSTA는 탐색적 프로빙을 통해 장치 및 채널 성능을 적응적으로 학습하며, 증명 가능한 최악의 경우 성능 보장을 달성하고, 오프라인 최적 및 기준 방법에 비해 실제 트레이스 기반 시뮬레이션에서 강인하고 경쟁 가능한 성능을 보여준다.

ABSTRACT

There has been a growing interest for Wireless Distributed Computing (WDC), which leverages collaborative computing over multiple wireless devices. WDC enables complex applications that a single device cannot support individually. However, the problem of assigning tasks over multiple devices becomes challenging in the dynamic environments encountered in real-world settings, considering that the resource availability and channel conditions change over time in unpredictable ways due to mobility and other factors. In this paper, we formulate a task assignment problem as an online learning problem using an adversarial multi-armed bandit framework. We propose MABSTA, a novel online learning algorithm that learns the performance of unknown devices and channel qualities continually through exploratory probing and makes task assignment decisions by exploiting the gained knowledge. For maximal adaptability, MABSTA is designed to make no stochastic assumption about the environment. We analyze it mathematically and provide a worst-case performance guarantee for any dynamic environment. We also compare it with the optimal offline policy as well as other baselines via emulations on trace-data obtained from a wireless IoT testbed, and show that it offers competitive and robust performance in all cases. To the best of our knowledge, MABSTA is the first online algorithm in this domain of task assignment problems and provides provable performance guarantee.

연구 동기 및 목표

• 이동성과 워크로드 변동으로 인해 장치 자원과 채널 상태가 빠르게 변화하는 무선 분산 컴퓨팅 환경에서의 동적이고 예측 불가능한 작업 할당 문제를 해결하기 위해.
• 환경에 대한 확률적 가정 없이 작동하는 온라인 학습 알고리즘을 설계하여 어떤 동적 상황에도 강인하게 적응할 수 있도록 하기 위해.
• 적대적이고 비 stationary 환경에서 작업 할당에 대한 증명 가능한 최악의 경우 성능 보장을 제공하기 위해.
• 모바일, IoT 및 센서 네트워크에서 협업 컴퓨팅을 향상시키기 위해 실시간으로 적응형 작업 할당을 가능하게 하며 최소한의 오버헤드를 유도하기 위해.
• 실세계 트레이스 데이터를 기반으로 한 무선 IoT 테스트베드에서 최적의 오프라인 정책과 기존 기준 방법에 비해 알고리즘 성능을 평가하기 위해.

제안 방법

• 환경의 정적 성질에 대한 가정 없이 작업 할당 문제를 적대적 다중 손잡이 밴딧(MAB) 문제로 수식화하여, 환경의 정적 성질에 대한 가정을 피한다.
• 탐색(알 수 없는 장치/채널 프로빙)과 이용(학습된 지식 활용) 사이의 균형을 맞추기 위해 경량의 온라인 학습 알고리즘인 MABSTA를 제안한다.
• 추정된 보상 기반의 가중 확률 업데이트 규칙을 사용하며, 손실과 수렴 간 균형을 이루기 위해 학습률 파라미터 α를 선택한다.
• 수학적 분석을 통해 최악의 경우 손실 한계를 유도하여, 최적의 오프라인 정책과의 성능 격차가 증명 가능한 범위 내에 유지되도록 보장한다.
• 보상 항목의 추정 오차를 모든 가능한 작업 할당에 대해 통제하기 위해 농도 부등식과 경계 기법을 적용한다.
• 시스템 파라미터인 장치 수 N, 간선 수 |E|, 가능한 할당 수의 총합 M^N에 따라 의존하는 성능 보장을 도출한다.

실험 결과

연구 질문

• RQ1 확률적 또는 정적 행동에 대한 가정 없이도, 온라인 학습 알고리즘이 높이 동적인 무선 분산 컴퓨팅 환경에서 강인한 작업 할당 성능을 달성할 수 있는가?
• RQ2 적대적이고 비 stationary 환경에서 온라인 작업 할당 알고리즘의 최악의 경우 성능 보장은 무엇인가?
• RQ3 실세계 트레이스 기반 시나리오에서 제안된 MABSTA 알고리즘은 최적의 오프라인 정책과 기존 기준 방법에 비해 어떻게 비교되는가?
• RQ4 MABSTA는 장치 가용성과 무선 채널 품질의 예측 불가능한 변화에 얼마나 잘 적응할 수 있는가?
• RQ5 온라인 작업 할당에서 학습 속도, 계산 복잡도, 성능 보장 간의 상호 상충 관계는 어떠한가?

주요 결과

• MABSTA는 (e−1)γR_total^max + M(N+|E|M)ln(M^N)/γ의 최악의 경우 손실 한계를 달성하며, 이는 환경에 대한 가정 없이도 증명 가능한 범위 내에 유지된다.
• 트레이스 기반 시뮬레이션에서 모든 테스트 시나리오에서 MABSTA는 경쟁력 있고 강인한 성능을 보이며, 동적 조건에서 기준 방법을 능가한다.
• 환경가 시간이 지남에 따라 적대적으로 변화하더라도 MABSTA는 최적의 오프라인 정책에 대해 증명 가능한 성능 보장을 제공한다.
• 알고리즘의 성능은 안정적이고 확장 가능하며, 경량 설계 덕분에 낮은 계산 및 저장 오버헤드를 유발한다.
• 실험 결과 MABSTA는 탐색적 프로빙을 통해 장치 및 채널 성능을 효과적으로 학습하여 거의 최적에 가까운 작업 할당 결정을 내리는 데 성공했다.
• 이론적 분석은 MABSTA가 환경에 대한 확률적 가정 없이도 유한한 손실 갭 내에 해에 수렴함을 확인한다.