[論文レビュー] Using Collective Intelligence to Route Internet Traffic

David H. Wolpert, Kagan Tumer+1 more|ArXiv.org|May 10, 1999

Distributed Control Multi-Agent Systems参考文献 12被引用数 90

ひとこと要約

本論文は、集中管理なしでインターネットのトラフィックルーティングを最適化する分散型強化学習アルゴリズムを用いた集合知（COIN）フレームワークを提案する。制約整合型の部分世界因子化システムと素晴らしあなたの人生ユーティリティ（WLU）メカニズムにより、ローカルなユーティリティ関数を整合させることで、COINはすべての先行するRLベースの最短経路アルゴリズムを上回り、記憶ベースのCOINは完全知識を有するSPAの上限を36%も上回る性能を達成した。

ABSTRACT

A COllective INtelligence (COIN) is a set of interacting reinforcement learning (RL) algorithms designed in an automated fashion so that their collective behavior optimizes a global utility function. We summarize the theory of COINs, then present experiments using that theory to design COINs to control internet traffic routing. These experiments indicate that COINs outperform all previously investigated RL-based, shortest path routing algorithms.

研究の動機と目的

• 集中管理なしでグローバルなネットワーク性能を最適化する分散型で集団知性を設計すること。
• 分散システムにおける個々の強化学習エージェントが互いに相反する行動をとらないように保証する課題に対処すること。
• グローバルユーティリティとローカル観測値のみを用いて、ローカルユーティリティ関数を自動的に初期化および更新する手法を開発すること。
• さまざまなトラフィック負荷下での従来の最短経路アルゴリズムと比較して、COINベースのルーティングの性能を評価すること。
• 現実のネットワークルーティングシナリオにおけるCOINの実現可能性と優位性を示すこと。

提案手法

• COINフレームワークは、グローバルな目的から導出されたローカルユーティリティ関数を最適化する強化学習エージェント（マイクロラーナー）をニューロンとして用いる。
• マクロラーナーは、制約整合性と部分世界因子化を保証するために、ローカルユーティリティ関数を動的に更新し、エージェント間の干渉を最小限に抑える。
• 素晴らしあなたの人生ユーティリティ（WLU）関数により、各ニューロンはローカル観測値とネットワークからのフィードバックに基づき、グローバルユーティリティへの貢献度を推定できる。
• システムは、部分世界ごとに変化が影響を及ぼす範囲が限定され、かつ協調的にグローバルユーティリティに影響を与える、要因分解され制約整合型のシステムとしてモデル化される。
• 記憶ベース（MB）マイクロラーナーは、ローカルルーティング履歴のみを用いてWLUを推定し、分散型運用を可能にする。
• フレームワークは、軽量、中程度、重いトラフィック条件下での2つのネットワークトポロジーにおけるシミュレーションにより評価された。

実験結果

リサーチクエスチョン

• RQ1 集中管理型または完全知識を有する最短経路ルーティングアルゴリズムと比較して、分散型集団知性システムがインターネットトラフィックルーティングにおいて優れた性能を発揮できるか？
• RQ2 ローカル知識（記憶ベース学習）のみを有するCOINが、完全知識を有する最短経路アルゴリズムを上回れるか？
• RQ3 制約整合性と部分世界因子化は、分散システムにおける強化学習エージェント間の干渉をどのように防止するか？
• RQ4 WLUメカニズムは、ローカル観測値からのみ、グローバルユーティリティへの貢献度をどれほど正確に推定可能にするか？
• RQ5 完全知識を有するRLベースの最短経路アルゴリズムですら上回る性能を達成できるか？

主な発見

• 完全知識を有するCOIN（FK COIN）は理論的最適値に達し、完全知識を有する最短経路アルゴリズム（FK SPA）を上回った。FK SPAは理論的最適値から12.5±3%劣っていた。
• 記憶ベースCOIN（MB COIN）は、ローカル観測値のみを用いており、完全知識を有するSPAを36±8%上回った。これは理論的最適値に近づく性能を示している。
• 重いトラフィック下のNetwork Bにおいて、MB COINの平均総遅延は2.06±0.010であったのに対し、FK SPAは6.94±0.015であった。これは、限られた知識にもかかわらず優れた性能を示している。
• FK COINは理論的最適値に素早く到達し、リッピングアーティファクトも最小限に抑えられ、高速な収束性と安定性を示した。
• すべての性能差は0.05水準で統計的に有意であり、Network Aの軽いトラフィック下におけるMB COINとFK SPAの差異も同様に有意であった。
• 結果は、COINが、完全知識を有するRLベースの最短経路アルゴリズムの性能上限をも凌駆できる可能性を裏付けている。