[논문 리뷰] Online Learning in Decentralized Multiuser Resource Sharing Problems

Cem Tekin, Mingyan Liu|arXiv (Cornell University)|2012. 10. 19.

Advanced Bandit Algorithms Research참고 문헌 25인용 수 4

한 줄 요약

이 논문은 알려지지 않은 시간에 따라 변화하는 보상과 혼잡도 효과가 존재하는 분산형 다중 사용자 자원 공유 환경에서 분산형 온라인 학습 알고리즘을 제안한다. 사용자 혼잡도에 대한 제한된 피드백 또는 사용자별 보상 정보를 얻기 위한 비용이 드는 통신을 통해, 계산, 전환, 통신 비용이 존재하는 상황에서도 최적의 정적 할당에 대해 로그 수준의 최소 손실을 달성한다. 이는 i.i.d. 및 마르코프 보상 모델 모두에 대해 성립한다.

ABSTRACT

In this paper, we consider the general scenario of resource sharing in a decentralized system when the resource rewards/qualities are time-varying and unknown to the users, and using the same resource by multiple users leads to reduced quality due to resource sharing. Firstly, we consider a user-independent reward model with no communication between the users, where a user gets feedback about the congestion level in the resource it uses. Secondly, we consider user-specific rewards and allow costly communication between the users. The users have a cooperative goal of achieving the highest system utility. There are multiple obstacles in achieving this goal such as the decentralized nature of the system, unknown resource qualities, communication, computation and switching costs. We propose distributed learning algorithms with logarithmic regret with respect to the optimal allocation. Our logarithmic regret result holds under both i.i.d. and Markovian reward models, as well as under communication, computation and switching costs.

연구 동기 및 목표

• 불확실성 하에서 분산형 다중 사용자 자원 공유 환경에서 최적의 최소 손실 성능을 달성하는 분산 학습 알고리즘을 설계하는 것.
• 완전한 조율 없이도 알려지지 않은 시간에 따라 변화하는 자원 품질과 사용자에 의한 혼잡도 문제를 해결하는 것.
• 통신, 계산, 전환 비용이 존재하는 상황에서도 i.i.d. 및 마르코프 보상 모델 모두에서 로그 수준의 최소 손실을 달성하는 것.
• 사용자들이 최소한의 피드백으로 최적의 채널 접근을 학습해야 하는 실질적 응용 분야, 예를 들어 인지 방식 무선 네트워크를 지원하는 것.
• 분산형 의사결정과 비대칭 정보 조건 하에서도 근사 최적의 시스템 유틸리티로 수렴하도록 보장하는 것.

제안 방법

• 각 자원이 보상이 동시 사용자 수에 따라 달라지는 다손단 띠(arm) 프레임워크를 사용한다.
• 제한된 피드백을 도입: 각 사용자는 다른 사용자의 행동을 관측하지 못하고, 동일한 자원에 있는 사용자 수만 관측한다.
• 통신을 통해 사용자별 보상을 제공하는 경우, 사용자들은 비용을 지불하고 관측치를 공유함으로써 최적의 할당을 추정할 수 있다.
• 서브옵티멀리티 갭에 대한 사전 지식 없이도 정확한 보상 추정을 보장하기 위해 시간이 지남에 따라 증가하는 동적 탐색 상수 L(t)를 사용한다.
• 사용자들이 추정된 보상과 혼잡도 수준에 따라 자원을 전환하는 이용 및 탐색 블록을 설계한다.
• 동일한 최적 할당이 존재할 경우를 대비해, 동일한 최적 선택으로 수렴할 수 있도록 보장하기 위해 보조금 메커니즘을 적용한다.

실험 결과

연구 질문

• RQ1 알려지지 않은 시간에 따라 변화하는 보상 조건 하에서 분산형 다중 사용자 자원 공유 시스템에서 로그 수준의 최소 손실을 달성할 수 있는가?
• RQ2 사용자들이 직접 통신할 수 없고 혼잡도 피드백만 관측할 수 있을 때, 어떻게 근사 최적의 시스템 유틸리티를 달성할 수 있는가?
• RQ3 통신, 계산, 전환 비용이 분산형 온라인 학습에서 최소 손실 성능에 어떤 영향을 미치는가?
• RQ4 서브옵티멀리티 갭이 알려지지 않은 상황에서도 알고리즘이 로그 수준의 최소 손실을 유지할 수 있는가?
• RQ5 여러 개의 최적 할당이 존재할 경우 사용자들이 일관된 최적 할당으로 수렴하는 방법은 무엇인가?

주요 결과

• 제안된 알고리즘은 i.i.d. 및 마르코프 보상 모델 모두에서 최적의 정적 할당에 대해 O(log T) 수준의 최소 손실을 달성한다.
• 통신, 계산, 전환 비용이 존재하는 상황에서도 최소 손실이 여전히 로그 수준을 유지하여 실용적 제약 조건에 대한 강건성을 입증한다.
• 서브옵티멀리티 갭이 알려지지 않은 경우, 증가하는 탐색 상수 L(t)를 사용하면 O(L(t) log T) 수준의 최소 손실을 달성할 수 있으며, 이는 근사 로그 수준이다.
• 보조금 메커니즘을 통해 다수의 최적 할당이 존재할 경우에도 사용자들이 유한한 기대 시간 내에 한 개의 최적 할당으로 수렴함을 보장한다.
• 동적 스펙트럼 액세스 응용 분야에서의 수치 결과는 알고리즘이 최소한의 피드백으로도 높은 시스템 유틸리티를 달성하는 데 효과적임을 확인한다.
• 사용자별 보상이 존재하고 통신 비용이 발생하는 상황에서도, 성능 갭의 하한값이 알려져 있다면 알고리즘은 여전히 로그 수준의 최소 손실을 유지한다.