[논문 리뷰] An Introduction to Collective Intelligence

David H. Wolpert, Kagan Tumer|ArXiv.org|1999. 08. 17.

Game Theory and Applications참고 문헌 234인용 수 186

한 줄 요약

이 논문은 집단지능(COIN)을 제안하며, 중앙집중식 제어 없이도 에이전트들이 강화학습(RL)을 통해 전 세계 세계관 유용도 함수를 최적화할 수 있는 대규모 분산 시스템 설계 프레임워크를 제공한다. 개별 에이전트의 인cent티브를 집단적 성능과 일치시키는 보상 함수를 유도함으로써, 공유 자원의 비효율적 사용과 같은 문제들을 피하고, 패킷 라우팅 및 리더-팔로워 조율과 같은 복잡한 분산 작업에서 기존 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

This paper surveys the emerging science of how to design a ``COllective INtelligence'' (COIN). A COIN is a large multi-agent system where: (i) There is little to no centralized communication or control; and (ii) There is a provided world utility function that rates the possible histories of the full system. In particular, we are interested in COINs in which each agent runs a reinforcement learning (RL) algorithm. Rather than use a conventional modeling approach (e.g., model the system dynamics, and hand-tune agents to cooperate), we aim to solve the COIN design problem implicitly, via the ``adaptive'' character of the RL algorithms of each of the agents. This approach introduces an entirely new, profound design problem: Assuming the RL algorithms are able to achieve high rewards, what reward functions for the individual agents will, when pursued by those agents, result in high world utility? In other words, what reward functions will best ensure that we do not have phenomena like the tragedy of the commons, Braess's paradox, or the liquidity trap? Although still very young, research specifically concentrating on the COIN design problem has already resulted in successes in artificial domains, in particular in packet-routing, the leader-follower problem, and in variants of Arthur's El Farol bar problem. It is expected that as it matures and draws upon other disciplines related to COINs, this research will greatly expand the range of tasks addressable by human engineers. Moreover, in addition to drawing on them, such a fully developed scie nce of COIN design may provide much insight into other already established scientific fields, such as economics, game theory, and population biology.

연구 동기 및 목표

• 중앙 집중식 조율 없이도 에이전트들이 공동으로 전 세계 유용도 함수를 최적화해야 하는 분산형, 확장 가능한 시스템 설계의 과제를 해결하기 위해.
• 자신의 이익을 추구하는 에이전트의 최적화가 높은 집단적 성능을 이끌도록 보장하면서도, 공유 자원의 고갈과 같은 체계적 실패(예: 공유 자원의 비극)를 피하기 위한 개별 RL 에이전트의 보상 함수를 규명하기 위해.
• 세부적인 시스템 모델링이 아닌 국소 정보와 학습에 기반한 모델 독립형, 적응형 COIN 설계 프레임워크를 개발하기 위해.
• 인간이 설계한 영역(예: 엘 파로 바 문제, 리더-팔로워 조율)에서의 실험을 통해 프레임워크의 탄력성과 확장성을 검증하고, 불확실성 하에서도 견고한 성능을 보여주기 위해.
• 네트워킹, 최적화, 생물학적 시스템 분야의 실제 문제에 COIN 원칙을 적용할 수 있는 기반을 마련하기 위해.

제안 방법

• COIN을 최소한의 중앙 집중식 통신과 전 세계 행동 평가 체계를 갖춘 대규모 다중 에이전트 시스템으로 수학적으로 정의한다.
• 에이전트 수준에서 강화학습(RL) 알고리즘을 사용하며, 각 에이전트는 국소 보상 신호에 기반해 자신의 사적 유용도를 최대화하도록 학습한다.
• 개별 유용도와 전 세계 유용도 간의 일치를 보장하는 수학적 프레임워크를 통해 에이전트의 보상 함수를 설계하며, 이는 '추측된 영향 집합' 개념에서 유도된다.
• 매크로러닝—메타러닝의 한 형태—을 적용하여 런타임 중에 에이전트의 보상 함수를 동적으로 조정함으로써 최적의 시스템 행동에의 수렴을 향상시킨다.
• 합성 영역(예: 엘 파로 바 문제, 리더-팔로워 문제)에서의 실험적 검증을 통해 프레임워크의 탄력성과 확장성 테스트를 수행한다.
• 전 세계 시스템 지식을 사용하는 기존 방법과의 성능 비교를 통해 국소적이고 적응형 접근 방식의 우수성을 입증한다.

실험 결과

연구 질문

• RQ1 어떻게 하면 개별 에이전트의 보상 함수를 설계하여, 자율적인 RL 최적화가 분산 시스템에서 높은 전 세계 세계관 유용도를 달성하게 할 수 있는가?
• RQ2 COIN 내의 RL 에이전트들이 상호 간에 충돌하지 않도록 보장할 수 있는 메커니즘은 무엇인가? 이는 브레이스의 역설이나 Liquidity Trap와 같은 체계적 실패를 방지하기 위함이다.
• RQ3 모델 독립형이고 국소 정보 기반의 접근 방식이 복잡한 분산 작업에서 기존의 중심 집중식 모델링 기반 제어 전략을 능가할 수 있는가?
• RQ4 초기 보상 함수가 최적화되지 않았을 경우, 런타임 중 시스템이 어떻게 집단적 성능 향상을 위해 적응할 수 있는가?
• RQ5 COIN 설계 이론 프레임워크가 인터넷 라우팅이나 교통 관리와 같은 실제 문제에 얼마나 널리 적용될 수 있는가?

주요 결과

• 전 세계 유용도와 일치시키는 에이전트 보상 함수 설계를 기반으로 한 제안된 COIN 설계 프레임워크는 엘 파로 바 문제와 리더-팔로워 조율 과제 모두에서 기존 방법보다 뚜렷이 뛰어난 성능을 보였다.
• 랜덤 보상 행렬을 사용한 실험에서, 매크로러닝은 일시적인 성능 저하 상황에서도 시스템이 최적 행동으로 수렴하도록 도와주었고, 기준선 시스템은 정체 상태에 머물렀다.
• 프레임워크의 이론적 가정이 근사적으로만 성립하더라도, 이 방법은 여전히 뛰어난 성능을 달성하여 모델 불확실성에 대한 강건성을 입증했다.
• 국소 정보 사용과 매크로러닝을 통한 적응형 보상 함수 조정 덕분에, 전 세계 시스템 모델링 없이도 최적의 집단적 결과를 달성할 수 있었다.
• 적절한 인cent티브 설계를 통해 공유 자원의 비극과 브레이스의 역설과 같은 집단적 실패 유형을 효과적으로 완화했다.
• 이 방법은 인공 영역에서 검증되었으며, 현재는 인터넷 패킷 라우팅 및 고용도 요금 도로 설계와 같은 실제 문제에 적용되고 있다.