[論文レビュー] Crowdsensing Game with Demand Uncertainties: A Deep Reinforcement Learning Approach

Yufeng Zhan, Yuanqing Xia+3 more|arXiv (Cornell University)|Dec 8, 2018

Mobile Crowdsensing and Crowdsourcing参考文献 34被引用数 4

ひとこと要約

本稿は、需要の不確実性と個人情報制約を伴うモバイルクラウドセンシングにおける、深層強化学習（DRL）に基づく動的インcentiveメカニズムを提案する。センシングプラットフォーム（SP）とモバイルユーザー（MUs）をスタックルベルクゲームとしてモデル化し、スタックルベルク均衡（SE）の存在および一意性を証明。MUの個人情報に関する事前知識がなくても、DRLを用いてSPが最適な価格戦略を学習可能であり、不確実性下でもシステム性能が著しく向上する。

ABSTRACT

Currently, explosive increase of smartphones with powerful built-in sensors such as GPS, accelerometers, gyroscopes and cameras has made the design of crowdsensing applications possible, which create a new interface between human beings and life environment. Until now, various mobile crowdsensing applications have been designed, where the crowdsourcers can employ mobile users (MUs) to complete the required sensing tasks. In this paper, emerging learning-based techniques are leveraged to address crowdsensing game with demand uncertainties and private information protection of MUs. Firstly, a novel economic model for mobile crowdsensing is designed, which takes MUs' resources constraints and demand uncertainties into consideration. Secondly, an incentive mechanism based on Stackelberg game is provided, where the sensing-platform (SP) is the leader and the MUs are the followers. Then, the existence and uniqueness of the Stackelberg Equilibrium (SE) is proven and the procedure for computing the SE is given. Furthermore, a dynamic incentive mechanism (DIM) based on deep reinforcement learning (DRL) approach is investigated without knowing the private information of the MUs. It enables the SP to learn the optimal pricing strategy directly from game experience without any prior knowledge about MUs' information. Finally, numerical simulations are implemented to evaluate the performance and theoretical properties of the proposed mechanism and approach.

研究の動機と目的

• モバイルユーザー（MUs）が不確実なリソース需要と限られたデバイスリソースを抱えるモバイルクラウドセンシングシステムにおいて、インcentiveメカニズムを設計する課題に対処すること。
• センシングプラットフォーム（SP）とMUsの間の相互作用を、MUsのリソース制約と需要の不確実性を考慮した二段階のスタックルベルクゲームとしてモデル化すること。
• 静的ゲーム設定においてスタックルベルク均衡（SE）の存在および一意性を証明し、最適価格設定とリソース配分戦略の実現を可能にすること。
• SPがMUの個人情報に関する事前知識がなくても、最適な価格戦略を学習できるように、深層強化学習（DRL）を用いた動的インcentiveメカニズム（DIM）を開発すること。
• 数値シミュレーションを通じて、さまざまな需要の不確実性レベルとリソース制約下での提案メカニズムの性能を評価すること。

提案手法

• SPがリーダーとして価格政策を決定し、MUsがフォロワーとして価格、リソース制約、需要の不確実性に基づいてセンシング努力を最適化する二段階のスタックルベルクゲームを定式化する。
• 提示された経済モデル下で、スタックルベルク均衡（SE）の解析的表現を導出し、その存在および一意性を証明する。
• 動的MCSゲームをマルコフ決定過程（MDP）としてモデル化し、SPがゲーム経験から深層強化学習（DRL）を用いて最適な価格戦略を学習可能にする。
• DRLアルゴリズムを用いて、SPがMUのコストや需要パラメータといった個人情報の知識がなくても、適応的に最適な価格戦略を学習可能にする。
• SPが経験に基づく学習によってMUのプライバシーを保護しつつ報酬を最大化できる動的インcentiveメカニズム（DIM）を導入する。
• 数値シミュレーションを用いて理論的分析の妥当性を検証し、需要の不確実性レベルやMUの特性の変化に伴うシステム性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、モバイルクラウドセンシングシステムにおける需要の不確実性とリソース制約を効果的に管理するインcentiveメカニズムを設計できるか？
• RQ2 需要が不確実でリソースが限られた状況下でのクラウドセンシングゲームにおいて、スタックルベルク均衡（SE）の存在および一意性を保証する条件は何か？
• RQ3 モバイルユーザーの個人情報へのアクセスが制限される状況でも、センシングプラットフォームが最適な価格戦略を学習できる動的インcentiveメカニズムを開発できるか？
• RQ4 需要の不確実性とMUのコスト／リソースパラメータは、クラウドセンシングシステムにおけるセンシングプラットフォームのパフォーマンスと報酬にどのように影響を与えるか？
• RQ5 DRLベースの動的インcentiveメカニズムは、静的または情報依存型アプローチと比較して、システムパフォーマンスをどの程度向上させるか？

主な発見

• 提案された静的クラウドセンシングゲームにおいて、スタックルベルク均衡（SE）は存在し、一意的である。これにより、SPは不確実性下でも最適な価格設定が可能となり、MUsは最適なセンシング努力を選択できる。
• SPの最適価格戦略は、MUのコスト（$c_n$）が高くなるほど、および利得増幅係数（$\lambda$）が高いほど上昇し、市場駆動型のインcentiveを反映している。
• MUの需要不確実性（$\overline{\xi_n}$）が高くなると、SPは価格を引き上げ、MUsはSPへのリソース割り当てを削減する必要が生じ、結果としてSPの報酬が低下する。
• コスト（$c_n$）が低く、需要強度（$\delta_n$）が低いMUsは、特に低価格帯でより容易にSPに参加され、機会費用が低いことから魅力的である。
• DRLベースの動的インcentiveメカニズムにより、SPはMUの個人情報に関する事前知識がなくても最適な価格戦略を学習可能であり、プライバシーを保護しつつシステムパフォーマンスを維持できる。
• シミュレーション結果から、需要の不確実性がシステムパフォーマンスに顕著な影響を与えることが確認され、不確実性が高くなるとSPの報酬が低下し、価格引き上げの必要性が増加する。