[논문 리뷰] Crowdsensing Game with Demand Uncertainties: A Deep Reinforcement Learning Approach

Yufeng Zhan, Yuanqing Xia외 3명|arXiv (Cornell University)|2018. 12. 08.

Mobile Crowdsensing and Crowdsourcing참고 문헌 34인용 수 4

한 줄 요약

이 논문은 수요 불확실성과 사생활 정보 제약 조건 하에서 모바일 커뮤니티 센싱을 위한 딥 강화학습(DRL) 기반의 동적 인센티브 메커니즘을 제안한다. 센싱 플랫폼(SP)과 모바일 사용자(MU)를 스택엘베르크 게임으로 모델링하여, 스택엘베르크 균형(SE)의 존재성과 유일성을 증명하고, MU의 사생활 정보에 대한 사전 지식 없이도 SP가 DRL을 통해 최적의 가격 전략을 학습할 수 있도록 함으로써, 불확실성 하에서의 시스템 성능을 크게 향상시킨다.

ABSTRACT

Currently, explosive increase of smartphones with powerful built-in sensors such as GPS, accelerometers, gyroscopes and cameras has made the design of crowdsensing applications possible, which create a new interface between human beings and life environment. Until now, various mobile crowdsensing applications have been designed, where the crowdsourcers can employ mobile users (MUs) to complete the required sensing tasks. In this paper, emerging learning-based techniques are leveraged to address crowdsensing game with demand uncertainties and private information protection of MUs. Firstly, a novel economic model for mobile crowdsensing is designed, which takes MUs' resources constraints and demand uncertainties into consideration. Secondly, an incentive mechanism based on Stackelberg game is provided, where the sensing-platform (SP) is the leader and the MUs are the followers. Then, the existence and uniqueness of the Stackelberg Equilibrium (SE) is proven and the procedure for computing the SE is given. Furthermore, a dynamic incentive mechanism (DIM) based on deep reinforcement learning (DRL) approach is investigated without knowing the private information of the MUs. It enables the SP to learn the optimal pricing strategy directly from game experience without any prior knowledge about MUs' information. Finally, numerical simulations are implemented to evaluate the performance and theoretical properties of the proposed mechanism and approach.

연구 동기 및 목표

• 모바일 사용자(MU)가 자원 수요에 대해 불확실성과 제한된 기기 자원을 가진 모바일 커뮤니티 센싱 시스템에서 인센티브 메커니즘을 설계하는 데 도전하는 것.
• MU의 자원 제약과 수요 불확실성을 고려하여 센싱 플랫폼(SP)과 MU 간의 상호작용을 이단계 스택엘베르크 게임으로 모델링하는 것.
• 정적 게임 설정에서 스택엘베르크 균형(SE)의 존재성과 유일성을 입증하여 최적의 가격 설정과 자원 배분 전략을 가능하게 하는 것.
• SP가 MU의 사생활 정보를 사전에 알지 못해도 최적의 가격 전략을 학습할 수 있도록 딥 강화학습(DRL)을 활용한 동적 인센티브 메커니즘(DIM)을 개발하는 것.
• 수치 시뮬레이션을 통해 다양한 수요 불확실성 수준과 자원 제약 조건 하에서 제안된 메커니즘의 성능을 평가하는 것.

제안 방법

• SP가 가격 정책을 설정하는 리더로서 행동하고, MU가 가격, 자원 제약, 수요 불확실성에 기반해 센싱 노력 최적화를 수행하는 이단계 스택엘베르크 게임을 설정한다.
• 제안된 경제 모델 하에서 스택엘베르크 균형(SE)의 존재성과 유일성을 입증하기 위해 분석적 표현을 유도한다.
• 동적 MCS 게임을 마르코프 결정 과정(MDP)으로 모델링하여, SP가 게임 경험을 통해 딥 강화학습(DRL)을 통해 최적의 가격 전략을 학습할 수 있도록 한다.
• DRL 알고리즘을 활용하여 SP가 MU의 비용 또는 수요 파rameter와 같은 사생활 정보를 알지 못해도 최적의 가격 전략을 적응적으로 학습할 수 있도록 한다.
• SP가 경험 기반 학습을 통해 MU의 개인정보를 보호하면서도 수익을 극대화할 수 있도록 동적 인센티브 메커니즘(DIM)을 도입한다.
• 수치 시뮬레이션을 통해 이론적 분석을 검증하고, 다양한 수요 불확실성 수준과 MU 특성 하에서의 시스템 성능을 평가한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 모바일 커뮤니티 센싱 시스템에서 수요 불확실성과 자원 제약 조건을 효과적으로 관리할 수 있는 인센티브 메커니즘을 설계할 수 있는가?
• RQ2 수요가 불확실하고 자원이 제한된 커뮤니티 센싱 게임에서 스택엘베르크 균형(SE)의 존재성과 유일성을 보장하는 조건은 무엇인가?
• RQ3 SP가 모바일 사용자(MU)의 사생활 정보에 접근할 수 없더라도 최적의 가격 전략을 학습할 수 있도록 하는 동적 인센티브 메커니즘을 개발할 수 있는가?
• RQ4 수요 불확실성과 MU의 비용/자원 파rameter는 커뮤니티 센싱 시스템에서 센싱 플랫폼의 성능과 수익에 어떤 영향을 미치는가?
• RQ5 DRL 기반의 동적 인센티브 메커니즘은 정적 또는 정보 의존적 접근 방식에 비해 시스템 성능을 얼마나 향상시키는가?

주요 결과

• 제안된 정적 커뮤니티 센싱 게임에서 스택엘베르크 균형(SE)은 존재하고 유일하며, 이는 SP가 불확실성 하에서 최적의 가격 설정을 내리고 MU가 최적의 센싱 노력 수준을 선택할 수 있도록 한다.
• SP의 최적 가격 전략은 MU의 비용($c_n$)이 높을수록, 그리고 이득($\lambda$)이 클수록 증가하여 시장 기반의 인centive를 반영한다.
• MU 수요 불확실성($\overline{\xi_n}$)이 증가할수록 SP는 가격을 인상하고 MU는 SP에 할당하는 자원을 줄여 SP의 수익이 감소하게 된다.
• 비용($c_n$)이 낮고 수요 강도($\delta_n$)가 낮은 MU는 기회비용이 낮기 때문에, 특히 낮은 가격에서 더 쉽게 SP에 채용된다.
• DRL 기반의 동적 인센티브 메커니즘은 SP가 MU의 사생활 정보를 사전에 알지 못해도 최적의 가격 전략을 학습할 수 있도록 하여 개인정보 보호를 유지하면서도 시스템 성능을 유지를 가능하게 한다.
• 시뮬레이션 결과는 수요 불확실성이 시스템 성능에 상당한 영향을 미치며, 높은 불확실성일수록 SP 수익이 감소하고 가격 설정 요구가 증가함을 확인한다.