[論文レビュー] Analysing Congestion Problems in Multi-agent Reinforcement Learning

Roxana Rădulescu, Peter Vrancx+1 more|arXiv (Cornell University)|Feb 28, 2017

Traffic control and management参考文献 8被引用数 6

ひとこと要約

本稿は、交通網や電力網などの現実世界のネットワークをモデル化する、相互に依存するリソースを有するマルチエージェント強化学習ベンチマーク「ロードネットワークドメイン（RND）」を紹介する。複雑な相互依存性がある状況ではリソース抽象化が困難であるのに対し、差分報酬（difference rewards）は環境のダイナミクスをよりよく捉えることで一貫して最適な性能を達成することを示している。

ABSTRACT

Congestion problems are omnipresent in today's complex networks and represent a challenge in many research domains. In the context of Multi-agent Reinforcement Learning (MARL), approaches like difference rewards and resource abstraction have shown promising results in tackling such problems. Resource abstraction was shown to be an ideal candidate for solving large-scale resource allocation problems in a fully decentralized manner. However, its performance and applicability strongly depends on some, until now, undocumented assumptions. Two of the main congestion benchmark problems considered in the literature are: the Beach Problem Domain and the Traffic Lane Domain. In both settings the highest system utility is achieved when overcrowding one resource and keeping the rest at optimum capacity. We analyse how abstract grouping can promote this behaviour and how feasible it is to apply this approach in a real-world domain (i.e., what assumptions need to be satisfied and what knowledge is necessary). We introduce a new test problem, the Road Network Domain (RND), where the resources are no longer independent, but rather part of a network (e.g., road network), thus choosing one path will also impact the load on other paths having common road segments. We demonstrate the application of state-of-the-art MARL methods for this new congestion model and analyse their performance. RND allows us to highlight an important limitation of resource abstraction and show that the difference rewards approach manages to better capture and inform the agents about the dynamics of the environment.

研究の動機と目的

• 既存の混雑ベンチマークが独立したリソースを仮定している点の制限を是正し、現実世界の相互依存性を反映しないこと。
• 現実的で相互接続されたネットワーク環境において、リソース抽象化と差分報酬の性能と適用可能性を評価すること。
• その仮定と制約に基づき、リソース抽象化をいつ、どのように適用すべきかを明確なガイドラインで提示すること。
• 共有道路セグメントを含む交通網をモデル化する、相互依存リソースを有する新しいベンチマークドメイン「RND」を導入すること。
• 複雑でネットワーク化された環境において、リソース抽象化が最適な集団的行動を効果的に誘導できるかどうかを分析すること。

提案手法

• エージェントが相互接続された道路セグメントのネットワーク上で経路を選択する、新たなマルチエージェント強化学習（MARL）ベンチマーク「ロードネットワークドメイン（RND）」を提案する。各セグメントには容量制限と重み制限がある。
• ある経路を選択すると共有セグメントへの負荷が増加するように環境をモデル化し、リソース選択の間で相互依存性を導入する。
• 主に2つのMARLアプローチを適用する：リソース抽象化（RA）、これは経路を抽象リソースにグループ化して報酬を設計する手法。差分報酬は、個々のエージェントの貢献に基づいて報酬を設計する手法。
• Q学習を用い、価値関数の更新を実行する。更新ルールは次の通り：$ Q(s,a) = Q(s,a) + alpha[r + gamma ext{max}_{a'}Q(s',a')] $。
• 2つのユーティリティ設計を採用する：ビーチ問題ドメイン（BPD）ユーティリティでは、1つの経路に過密に集中することで最大ユーティリティが達成される。交通線ドメイン（TLD）ユーティリティでは、重要なセグメントでの混雑を避けることで最適性能が達成される。
• 複数の抽象グループ構成で手法を評価し、30回の試行で2,000エピソードにわたってグローバルユーティリティを測定。平均値と標準偏差を報告する。

実験結果

リサーチクエスチョン

• RQ1 相互依存リソースを有するネットワーク環境において、リソース抽象化はエージェントの最適行動を効果的に誘導できるか？
• RQ2 現実世界の道路網や電力網のようにリソースが相互接続されている状況では、リソース抽象化の仮定がどのように破綻するか？
• RQ3 差分報酬アプローチは、相互依存リソース環境における複雑な環境ダイナミクスを捉える点で、リソース抽象化を上回る性能を示すか？
• RQ4 現実世界の混雑問題において、リソース抽象化を効果的に適用するための必要な条件と知識要件は何か？
• RQ5 例えば、1つの経路に過密に集中させながら他の経路を満杯に保つような所望の集団的行動は、ネットワークドメインにおいてリソース抽象化で信頼性高く表現可能か？

主な発見

• BPDユーティリティ設計では、最高のシステムユーティリティを達成するには重要なセグメントでの混雑を避ける必要があるが、リソース抽象化は「過密化を避ける」行動を表現できず、最適解を表現できない。
• TLDユーティリティ設計では、ACやBDのような重要なセグメントでの混雑を避けることが最適性能に不可欠であるが、$[ABD,ACD],[ABCD]$という抽象グループ構成ではリソース抽象化が最適性能を達成するが、これは望ましい行動を反映するようにグループが丁寧に設計された場合に限る。
• 差分報酬アプローチは、すべてのテスト構成およびユーティリティ設計で一貫して最適またはほぼ最適な性能を達成し、複雑で相互依存性のある環境においてリソース抽象化を上回る。
• リソース抽象化の性能は抽象グループの選択に極めて敏感である。例えば、$[ABD,ACD],[ABCD]$はBPDでは低性能だが、TLDでは優れた性能を示す。これは、問題の深い理解が不可欠であることを示している。
• リソース抽象化は、個々のリソースの容量、重み、およびグローバルユーティリティ関数の詳細な知識を必要とし、現実世界の分野への実用的適用性が制限される。
• RNDベンチマークは、現実世界のネットワークにおける相互依存性を効果的にモデル化できており、現在のMARL手法が独立したリソース選択を超えて、共有リソース制約を考慮する必要があることを明らかにした。