[論文レビュー] Avoiding Braess' Paradox through Collective Intelligence

Kagan Tumer, David H. Wolpert|ArXiv.org|Dec 20, 1999

Reinforcement Learning in Robotics参考文献 25被引用数 7

ひとこと要約

本論文は、局所的最適化により全体の性能が低下するBraessの逆説を回避するため、ルーティング意思決定のグローバルな副作用を考慮する、集団知性に基づくルーティングアルゴリズムを提案する。ISPA（理想最短経路アルゴリズム）とは異なり、パケットごとのコストを最適化するがグローバルな効率性を損なうのに対し、COINに基づく手法は、将来の影響を予測し、グローバルに調整されたルーティングを採用することで、正確でないコスト推定値を用いてもISPAを上回る性能を示し、実験および機械学習の応用によって検証された。

ABSTRACT

In an Ideal Shortest Path Algorithm (ISPA), at each moment each router in a network sends all of its traffic down the path that will incur the lowest cost to that traffic. In the limit of an infinitesimally small amount of traffic for a particular router, its routing that traffic via an ISPA is optimal, as far as cost incurred by that traffic is concerned. We demonstrate though that in many cases, due to the side-effects of one router's actions on another routers performance, having routers use ISPA's is suboptimal as far as global aggregate cost is concerned, even when only used to route infinitesimally small amounts of traffic. As a particular example of this we present an instance of Braess' paradox for ISPA's, in which adding new links to a network decreases overall throughput. We also demonstrate that load-balancing, in which the routing decisions are made to optimize the global cost incurred by all traffic currently being routed, is suboptimal as far as global cost averaged across time is concerned. This is also due to "side-effects", in this case of current routing decision on future traffic. The theory of COllective INtelligence (COIN) is concerned precisely with the issue of avoiding such deleterious side-effects. We present key concepts from that theory and use them to derive an idealized algorithm whose performance is better than that of the ISPA, even in the infinitesimal limit. We present experiments verifying this, and also showing that a machine-learning-based version of this COIN algorithm in which costs are only imprecisely estimated (a version potentially applicable in the real world) also outperforms the ISPA, despite having access to less information than does the ISPA. In particular, this COIN algorithm avoids Braess' paradox.

研究の動機と目的

• 局所的最適性は保証されるがグローバルなネットワーク性能において劣化する理想最短経路アルゴリズム（ISPA）の非最適性に対処する。
• 1つのルーターのルーティング選択が他のルーターの性能を低下させるという副作用が、ネットワークルーティングにおいてBraessの逆説を引き起こす仕組みを調査する。
• 現在のルーティング意思決定による長期的コスト蓄積を緩和するため、将来のトラフィックを予測するグローバル最適化フレームワークを構築する。
• 正確でないコスト推定値を用いても、実際の状況でISPAを上回る性能を示す、機械学習を強化した提案アルゴリズムの実装を実証する。
• 分散型で局所最適なルーティングによって引き起こされる逆説的ネットワーク劣化を回避する理論的・実証的基盤を提供する。

提案手法

• COllective INtelligence（COIN）理論を用いて問題を形式化し、エージェント（ルーター）間の相互依存関係をモデル化することで、有害な副作用を回避する。
• 現在の意思決定の将来への影響を考慮し、無限小のフローに限らない全トラフィックの集約コストを最適化する、理想化されたCOINベースのルーティングアルゴリズムを設計する。
• 現在のルーティング選択が将来のトラフィックパフォーマンスに与える影響を考慮するフォワード・ルックイン・コストモデルを導入し、ISPAの短視眼的最適化を是正する。
• ノイズや不完全なコストフィードバックからルーティング方針を学習する、COINアルゴリズムの機械学習版を実装し、現実世界への適用可能性を高める。
• さまざまなネットワークトポロジーやリンク追加状況下で、COINアルゴリズムとISPAの性能を実験的シミュレーションにより比較する。
• マルチエージェントシステムおよび適応制御の技術を応用し、局所的意思決定とグローバルなネットワーク効率性の両立を図る。

実験結果

リサーチクエスチョン

• RQ1 グローバルな副作用を考慮するルーティングアルゴリズムは、集約ネットワークコストを最小化する点でISPAを上回ることができるか？
• RQ2 ネットワークに新しいリンクを追加することは常に性能向上をもたらすのか、それともルーティング意思決定の結果として逆説的劣化を引き起こす可能性があるか？
• RQ3 コスト推定値が正確でない状況下でも、分散型で学習ベースのルーティングシステムはBraessの逆説を回避できるか？
• RQ4 現在のルーティング意思決定が将来のネットワークパフォーマンスに与える影響は何か？ そして、この時間的依存性は、長期的な効率性向上のためのモデル化が可能か？
• RQ5 COINとして形式化された集団知性は、分散ネットワークにおける局所最適化に比べて、どれほど優れたグローバル最適化を可能にするか？

主な発見

• ISPAは無限小のフローに対して最適ではあるが、他のルーターへの未考慮の副作用により、グローバルなパフォーマンスが劣化する。
• 本論文は、ネットワークルーティングにおけるBraessの逆説の具体的な事例を示している：ISPAを用いる場合、リンクの追加により全体のネットワークスループットが低下する。
• 現在のトラフィックを最適化する負荷分散戦略は、長期的には非効率である。なぜなら、ルーティング意思決定の将来への影響を無視しているからである。
• 提案されたCOINベースのアルゴリズムは、理想状態およびコスト推定値が不正確な状況下でもISPAを上回り、そのロバストネスとグローバル最適性を確認した。
• ノイズや不完全なコストデータを用いても、機械学習を強化したCOINアルゴリズムのバージョンは一貫してISPAを上回る性能を示し、実用的妥当性を裏付けた。
• COINフレームワークは、生産的でないネットワーク拡張を防ぐためにルーティング意思決定を調整することで、Braessの逆説を効果的に回避した。