[論文レビュー] Distributed Learning: Sequential Decision Making in Resource-Constrained Environments

Udari Madhushani, Naomi Ehrich Leonard|arXiv (Cornell University)|Apr 13, 2020

Advanced Bandit Algorithms Research参考文献 18被引用数 4

ひとこと要約

本稿では、分散型マルチアームバンディット学習の部分的通信プロトコルを提案する。このプロトコルは、探索行動時のみに情報を送信するもので、完全通信と同等の性能順序を達成しながら、通信コストを O(log T) に削減する。本プロトコルにより、データ送信を最小限に抑えつつグループ性能を損なわずに、リソース制約のある環境でもコスト効率が高くスケーラブルな学習が可能になる。

ABSTRACT

We study cost-effective communication strategies that can be used to improve the performance of distributed learning systems in resource-constrained environments. For distributed learning in sequential decision making, we propose a new cost-effective partial communication protocol. We illustrate that with this protocol the group obtains the same order of performance that it obtains with full communication. Moreover, we prove that under the proposed partial communication protocol the communication cost is $O(\log T)$, where $T$ is the time horizon of the decision-making process. This improves significantly on protocols with full communication, which incur a communication cost that is $O(T)$. We validate our theoretical results using numerical simulations.

研究の動機と目的

• 完全通信が非現実的であるリソース制約のある環境において、分散学習に向けたコスト効率の良い通信戦略を開発すること。
• グループ性能を低下させることなく、逐次意思決定システムにおける通信オーバーヘッドを低減すること。
• 完全通信と同等の性能を維持しながらデータ送信を最小限に抑える部分的通信プロトコルを設計すること。
• 探索行動時のみに情報を共有するプロトコルの分析と検証を行い、活用ベース通信と探索ベース通信の違いを活用すること。
• 探索ベース通信が、通信コストを著しく削減しながらも、完全通信と同等の性能順序を達成できることを示すこと。

提案手法

• エージェントが探索行動を実行する場合にのみ情報共有を行う部分的通信プロトコルを提案。探索行動とは、最適でないか不確実な選択肢に対する行動として定義される。
• ステochasticな報酬の下での逐次的意思決定をモデル化するため、マルチアームバンディットフレームワークを用いる。エージェントは累積報酬を最大化するために行動を選択する。
• 通信コストを交換されたメッセージ総数として定義。完全通信では O(T) のコストを要するが、提案プロトコルでは O(log T) の期待コストを達成する。
• 探索と活用のバランスを取るためのサンプリングルール（定義1）を導入。通信は探索時のみ発動する。
• 期待累積レグレットを性能指標として用い、レグレットの最小化がグループ報酬の最大化に対応する。
• ガウス分布に従う報酬分布、完全な通信グラフ、100エージェント、10の選択肢、1000ステップのシナリオで、数値シミュレーションを用いてプロトコルを検証。

実験結果

リサーチクエスチョン

• RQ1 部分的通信プロトコルは、分散学習において完全通信と同等の性能順序を達成しながら、通信コストを著しく削減できるか？
• RQ2 探索行動時のみに情報を共有するプロトコルの通信コストは何か？ また、時間枠 T に対してどのようにスケーリングされるか？
• RQ3 性能と通信コストの観点から、探索ベース通信は完全通信および活用ベース通信と比べてどのように異なるか？
• RQ4 探索行動時のみに通信を制限することで、データ送信を削減しながらもグループ性能を維持できるか？
• RQ5 探索ベース共有に依存する通信プロトコルは、リソース制約のある分散バンディット環境でも高い性能を維持できるか？

主な発見

• 提案された探索ベース通信プロトコルは、完全通信と同等の性能順序を達成し、期待累積レグレットが有界で、完全通信ケースと比較して同程度の水準を維持する。
• 提案プロトコルにおける期待通信コストは O(log T) であり、完全通信の O(T) に比べ顕著な改善が得られる。
• 数値シミュレーションの結果、探索ベース通信は、完全通信に比べてエージェント1人あたりの通信コストを桁違いに削減しながら、ほぼ同一の性能を維持していることが示された。
• 活用ベース通信および通信なしのケースでは、著しく劣った性能を示し、特に活用ベース通信は完全通信に近い通信コストを要する。
• プロトコルは、探索時のみに情報共有を行うことで、高いグループ性能を達成できることを実証し、理論的なコスト-性能トレードオフを裏付けた。
• 結果から、探索時のみの通信で十分に効率的な情報共有が可能であり、長期的かつリソース制約のある学習システムに実用的であることが確認された。