[논문 리뷰] Avoiding Braess' Paradox through Collective Intelligence

Kagan Tumer, David H. Wolpert|ArXiv.org|1999. 12. 20.

Reinforcement Learning in Robotics참고 문헌 25인용 수 7

한 줄 요약

이 논문은 전역적 비용 최적화를 통해 브레이스의 역설(네트워크 링크를 추가함으로써 성능이 악화되는 현상)을 피하는 집단지능 기반 라우팅 알고리즘을 제안한다. ISPA(이deal Shortest Path Algorithm)는 패킷 단위 비용을 최적화하지만 전역 효율성을 해칠 수 있으나, COIN 기반 방법은 향후 영향을 고려하는 전방향 전략을 통해 전역적으로 조율된 라우팅을 구현하여, 비정확한 비용 추정이 존재하는 상황에서도 ISPA를 능가한다. 실험 및 머신러닝 적응 기법을 통해 검증되었다.

ABSTRACT

In an Ideal Shortest Path Algorithm (ISPA), at each moment each router in a network sends all of its traffic down the path that will incur the lowest cost to that traffic. In the limit of an infinitesimally small amount of traffic for a particular router, its routing that traffic via an ISPA is optimal, as far as cost incurred by that traffic is concerned. We demonstrate though that in many cases, due to the side-effects of one router's actions on another routers performance, having routers use ISPA's is suboptimal as far as global aggregate cost is concerned, even when only used to route infinitesimally small amounts of traffic. As a particular example of this we present an instance of Braess' paradox for ISPA's, in which adding new links to a network decreases overall throughput. We also demonstrate that load-balancing, in which the routing decisions are made to optimize the global cost incurred by all traffic currently being routed, is suboptimal as far as global cost averaged across time is concerned. This is also due to "side-effects", in this case of current routing decision on future traffic. The theory of COllective INtelligence (COIN) is concerned precisely with the issue of avoiding such deleterious side-effects. We present key concepts from that theory and use them to derive an idealized algorithm whose performance is better than that of the ISPA, even in the infinitesimal limit. We present experiments verifying this, and also showing that a machine-learning-based version of this COIN algorithm in which costs are only imprecisely estimated (a version potentially applicable in the real world) also outperforms the ISPA, despite having access to less information than does the ISPA. In particular, this COIN algorithm avoids Braess' paradox.

연구 동기 및 목표

• 지역 최적화는 달성하나 전역 네트워크 성능에서 열등한 ISPA의 부적절함을 해결한다.
• 한 라우터의 라우팅 선택이 다른 라우터의 성능을 악화시키는 부작용이 발생할 경우, 네트워크 라우팅에서 브레이스의 역설이 어떻게 발생하는지 조사한다.
• 현재 라우팅 결정이 초래하는 장기적 비용 축적을 완화하고 미래 트래픽을 예측하는 전역 최적화 프레임워크를 개발한다.
• 비정확한 비용 추정이 존재하는 상황에서도 실생활 적용이 가능한 머신러닝 기반 개선 버전의 알고리즘이 실제로 ISPA를 능가하는지 입증한다.
• 분산형으로 최적화되는 로컬 라우팅에 의해 발생하는 역설적 네트워크 성능 저하를 방지하기 위한 이론적 및 실증적 기반을 제공한다.

제안 방법

• 집단지능(COllective INtelligence, COIN) 이론을 활용해 에이전트(라우터) 간의 상호의존성을 수식화하여 해로운 부작용을 방지한다.
• 현재 결정의 향후 영향까지 고려하여, 무한소 흐름이 아닌 모든 트래픽의 집합적 비용을 최적화하는 이상화된 COIN 기반 라우팅 알고리즘을 설계한다.
• 현재 라우팅 선택이 향후 트래픽 성능에 미치는 영향을 반영하는 전방향 비용 모델을 도입하여, ISPA의 단기적 최적화 문제를 수정한다.
• 노이즈 또는 완전하지 않은 비용 피드백에서 라우팅 정책을 학습하는 머신러닝 변형을 도입하여 실생활 적용 가능성을 확보한다.
• 다양한 네트워크 구조와 링크 추가 상황에서 COIN 알고리즘의 성능을 ISPA와 비교하기 위해 실험적 시뮬레이션을 수행한다.
• 다중에이전트 시스템 및 적응 제어 기법을 활용하여 지역적 의사결정과 전역 네트워크 효율성 간의 균형을 확보한다.

실험 결과

연구 질문

• RQ1 전역 부작용을 고려하는 라우팅 알고리즘이 ISPA보다 집합적 네트워크 비용을 줄이는 데 성공할 수 있는가?
• RQ2 네트워크에 새로운 링크를 추가하면 항상 성능이 향상되는가, 아니면 라우팅 결정으로 인해 역설적인 성능 저하가 발생할 수 있는가?
• RQ3 비용 추정이 비정확한 상황에서도 분산형, 학습 기반 라우팅 시스템이 브레이스의 역설을 피할 수 있는가?
• RQ4 현재의 라우팅 결정이 향후 네트워크 성능에 미치는 영향은 무엇이며, 이러한 시간적 의존성을 모델링하여 장기적 효율성을 향상시킬 수 있는가?
• RQ5 COIN로 수식화된 집단지능은 분산 네트워크에서 국소 최적화보다 전역 최적화를 얼마나 더 잘 달성할 수 있는가?

주요 결과

• ISPA는 무한소 흐름에 대해 최적화되지만, 다른 라우터에 미치는 간접적 영향을 고려하지 않아 전역적으로는 열등한 성능을 보인다.
• 논문은 ISPA를 사용할 경우 링크 추가로 전체 네트워크 처리량이 감소하는 브레이스의 역설의 구체적 사례를 입증한다.
• 현재 트래픽을 최적화하는 로드 밸런싱 전략은 장기적으로 볼 때 라우팅 결정의 장기적 영향을 간과하기 때문에 비효율적이다.
• 제안된 COIN 기반 알고리즘은 이상화된 환경뿐 아니라 비정확한 비용 추정 상황에서도 ISPA를 능가함을 확인하여 강건성과 전역 최적화 성능을 입증한다.
• 노이즈 또는 불완전한 비용 데이터를 사용하는 머신러닝 기반 COIN 알고리즘의 변형도 항상 ISPA를 능가하여 실용성과 타당성을 입증한다.
• COIN 프레임워크는 네트워크 확장을 방지하는 라우팅 결정을 조율함으로써 브레이스의 역설을 성공적으로 피한다.