[論文レビュー] Online Learning in Decentralized Multiuser Resource Sharing Problems

Cem Tekin, Mingyan Liu|arXiv (Cornell University)|Oct 19, 2012

Advanced Bandit Algorithms Research参考文献 25被引用数 4

ひとこと要約

本稿では、未知で時間変動する報酬および混雑効果を伴う分散型オンライン学習アルゴリズムを、分散型マルチユーザー資源共有の文脈で提案する。ユーザーの混雑状態に関する限られたフィードバック、またはユーザー固有の報酬を通信するコストを伴う場合でも、計算コスト、スイッチングコスト、通信コストを考慮した状況においても、最適な静的割り当てに対する対数的レジストを達成する。これは、i.i.d.およびマルコフ型報酬モデルの両方において成立する。

ABSTRACT

In this paper, we consider the general scenario of resource sharing in a decentralized system when the resource rewards/qualities are time-varying and unknown to the users, and using the same resource by multiple users leads to reduced quality due to resource sharing. Firstly, we consider a user-independent reward model with no communication between the users, where a user gets feedback about the congestion level in the resource it uses. Secondly, we consider user-specific rewards and allow costly communication between the users. The users have a cooperative goal of achieving the highest system utility. There are multiple obstacles in achieving this goal such as the decentralized nature of the system, unknown resource qualities, communication, computation and switching costs. We propose distributed learning algorithms with logarithmic regret with respect to the optimal allocation. Our logarithmic regret result holds under both i.i.d. and Markovian reward models, as well as under communication, computation and switching costs.

研究の動機と目的

• 不確実性下での分散型マルチユーザー資源共有において、最適なレジスト性能を達成する分散型学習アルゴリズムの設計を目的とする。
• 完全な調整なしに、未知で時間変動するリソースの質とユーザーによる混雑を扱う課題に取り組む。
• 通信コスト、計算コスト、スイッチングコストを伴う状況でも、i.i.d.およびマルコフ型報酬モデルの両方において対数的レジストを達成することを目的とする。
• ユーザーが最小限のフィードバックで最適なチャネルアクセスを学習できる、認知的無線ネットワークなどの実用的応用を支援することを目的とする。
• 分散型意思決定と非対称な情報のもとでも、近似的に最適なシステム効用への収束を保証することを目的とする。

提案手法

• 各リソースが報酬が同時に利用するユーザー数に依存する「マルチアームバンディット」フレームワークを用いる。
• 限られたフィードバックを導入：各ユーザーは他のユーザーの行動を観測できないが、自身が利用しているリソース上のユーザー数のみを観測できる。
• 通信コストを伴うユーザー固有の報酬の場合、ユーザーは観測値を共有することで最適な割り当ての推定が可能になる。
• 最適性ギャップの事前知識がなくても、正確な報酬推定を保証するために、時間とともに増加する動的探索定数 L(t) を採用する。
• 報酬の推定値と混雑度に基づいて、ユーザーがリソースを切り替えるための「活用」と「探索」のブロックを設計する。
• 複数の最適な割り当てが存在する場合に一貫した最適選択へ収束を保証するため、補助金メカニズムを導入する。

実験結果

リサーチクエスチョン

• RQ1 未知で時間変動する報酬を伴う分散型マルチユーザー資源共有システムにおいて、対数的レジストを達成できるか？
• RQ2 直接通信ができない状況で、ユーザーが混雑フィードバックのみを観測する場合、どのようにして近似的に最適なシステム効用を達成できるか？
• RQ3 通信コスト、計算コスト、スイッチングコストが分散型オンライン学習におけるレジスト性能に与える影響は何か？
• RQ4 最適性ギャップが未知である場合でも、アルゴリズムが対数的レジストを維持できるか？
• RQ5 複数の最適な割り当てが存在する場合、ユーザーはどのように一貫した最適な割り当てへ収束できるか？

主な発見

• 提案されたアルゴリズムは、i.i.d.およびマルコフ型報酬モデルの両方において、最適な静的割り当てに対する O(log T) のレジストを達成する。
• 通信コスト、計算コスト、スイッチングコストを伴う状況でも、レジストは依然として対数的であり、実用的制約に対して強い性能を示す。
• 最適性ギャップが未知の場合、増加する探索定数 L(t) を用いることで、O(L(t) log T) のレジストが得られ、これはほぼ対数的である。
• 補助金メカニズムにより、複数の最適な割り当てが存在する場合でも、ユーザーは有限の期待時間内に一つの最適な割り当てへ収束する。
• 動的スペクトルアクセス応用における数値結果から、最小限のフィードバックで高いシステム効用を達成できることを確認した。
• ユーザー固有の報酬があり、通信コストを伴う状況でも、性能ギャップの下限値がわかっている限り、アルゴリズムは対数的レジストを維持する。