[논문 리뷰] Learning in A Changing World: Restless Multi-Armed Bandit with Unknown Dynamics

Haoyang Liu, Keqin Liu외 1명|arXiv (Cornell University)|2010. 11. 22.

Advanced Bandit Algorithms Research참고 문헌 24인용 수 6

한 줄 요약

이 논문은 동적 시스템에서 작동하는 무작위로 변화하는 다수의 손잡이를 가진 문제에 대해, 알려지지 않은 동역학을 가진 불안정한 다손잡이 밴딧(RMAB) 문제에 대해 결정론적 탐색 및 이용 주기 순서(DSEE)를 제안한다. 이 정책은 시스템의 알려진 경계가 있을 경우 로그 수준의 누적 실수를 달성하고, 사전 지식이 없을 경우 거의 로그 수준의 누적 실수를 달성하며, 다수의 플레이어가 존재하는 분산된 환경에서도 로그 수준의 누적 실수 순서를 유지한다.

ABSTRACT

We consider the restless multi-armed bandit (RMAB) problem with unknown dynamics in which a player chooses M out of N arms to play at each time. The reward state of each arm transits according to an unknown Markovian rule when it is played and evolves according to an arbitrary unknown random process when it is passive. The performance of an arm selection policy is measured by regret, defined as the reward loss with respect to the case where the player knows which M arms are the most rewarding and always plays the M best arms. We construct a policy with an interleaving exploration and exploitation epoch structure that achieves a regret with logarithmic order when arbitrary (but nontrivial) bounds on certain system parameters are known. When no knowledge about the system is available, we show that the proposed policy achieves a regret arbitrarily close to the logarithmic order. We further extend the problem to a decentralized setting where multiple distributed players share the arms without information exchange. Under both an exogenous restless model and an endogenous restless model, we show that a decentralized extension of the proposed policy preserves the logarithmic regret order as in the centralized setting. The results apply to adaptive learning in various dynamic systems and communication networks, as well as financial investment.

연구 동기 및 목표

• 플레이되지 않은 상태에서도 손잡이 상태가 지속적으로 변화하는 시스템에서의 적응형 학습 문제에 대응한다. 이는 고전적 다손잡이 밴딧 모델의 핵심 제약이다.
• 활성 손잡이의 마르코프 동역학이 알려지지 않은 불안정한 MAB 환경에서 탐색과 이용을 균형 있게 조절하는 학습 정책을 개발한다. 수동 손잡이의 경우 임의의 진동을 허용한다.
• 부분적인 시스템 지식이 존재할 경우 중심화된 환경에서 하위선형 실수 성장, 특히 로그 수준의 실수 성장을 달성한다.
• 다수의 분산된 플레이어가 통신 없이 손잡이를 공유하는 분산된 환경으로 정책을 확장하며, 로그 수준의 실수 순서를 유지한다.
• 분산된 상황에서 외생적 및 내생적 불안정 모델 모두에 대해 실수 성능에 대한 이론적 보장을 제공한다.

제안 방법

• N개의 손잡이를 순차적으로 샘플링하여 보상 통계를 추정할 수 있도록, 탐색과 이용 주기를 번갈아가며 적용하는 정책을 설계한다.
• 기하급수적으로 증가하는 주기 길이를 사용하여 손잡이 전환 빈도를 제어하고, 탐색 비용과 학습 정확도 사이의 균형을 맞춘다.
• 이용 주기 동안 이전 탐색 주기의 관측 기반으로 가장 높은 표본 평균 보상을 가진 손잡이를 선택한다.
• 탐색 주기의 크기를 제어하여 손잡이 순위의 충분한 학습을 확보하면서도, 전환으로 인한 일시적 손실을 최소화한다.
• 중앙집중 정책을 분산된 환경으로 확장하기 위해 각 플레이어가 협의 없이 동일한 DSEE 구조를 독립적으로 적용하도록 허용하며, 손잡이 선택 간 간섭이 발생하지 않도록 보장한다.
• 충돌 수를 제한하고 플레이어 간 충분한 탐색을 보장함으로써, 분산 정책이 로그 수준의 실수 순서를 유지함을 증명한다.

실험 결과

연구 질문

• RQ1 손잡이 상태가 플레이되지 않더라도 지속적으로 변화하는 불안정한 MAB 환경에서, 알려지지 않은 동역학을 가진 학습 정책이 로그 수준의 실수를 달성할 수 있는가?
• RQ2 불안정한 MAB 환경에서 실수를 최소화하면서도 손잡이 전환 횟수를 제어하기 위해 탐색과 이용을 어떻게 균형 있게 조절할 수 있는가?
• RQ3 시스템 파라미터에 대한 사전 지식이 전혀 없을 경우, 제안된 정책의 성능은 어떻게 되는가?
• RQ4 중앙집중 정책인 DSEE는 통신 없이 손잡이를 공유하는 다수의 플레이어가 존재하는 분산된 환경으로 확장 가능할까? 이 경우에도 로그 수준의 실수를 유지할 수 있는가?
• RQ5 외생적 및 내생적 불안정 모델 모두에서 분산된 환경에서 실수 성능은 어떻게 스케일링되는가?

주요 결과

• 제안된 DSEE 정책은 시스템 파rameter에 대해 임의이지만 비자명한 경계가 알려져 있을 경우 로그 수준의 실수를 달성한다.
• 시스템 지식이 전혀 없을 경우, 정책은 실수를 거의 로그 수준에 가깝게 달성하며, 불확실성에 대한 강건성을 입증한다.
• 외생적 및 내생적 불안정 모델 모두에서 분산된 환경에서 정책은 로그 수준의 실수 순서를 유지하며, 다수의 플레이어에 대한 확장성 보장한다.
• 손잡이 전환 횟수는 시간에 따라 로그 수준으로 제한되며, 이는 상태 전환 중의 일시적 손실을 줄이는 데 기여한다.
• 이론적 분석을 통해 정책이 모든 손잡이에 대해 충분한 탐색을 보장하면서도, 열악한 손잡이에 할애되는 시간을 최소화함으로써 최적 성능로의 신속한 수렴을 보장한다.
• 결과는 인공지능 기반의 인지 라디오 네트워크에서의 동적 스펙트럼 접근 및 적응형 금융 투자 전략과 같은 실제 응용 분야로 일반화된다.