[논문 리뷰] Measurements of collective machine intelligence

Michel Halmes|arXiv (Cornell University)|2013. 06. 27.

Evolutionary Game Theory and Cooperation참고 문헌 41인용 수 4

한 줄 요약

이 논문은 AI 에이전트 집단에서 작업 할당과 공동 의사결정을 통합함으로써 집단 기계지능을 측정하는 공식적 프레임워크를 제안한다. 전문성 있는, 협력적으로 할당된 에이전트가 개별 에이전트보다 뛰어난 성능을 보이며, 지능적인 투표 시스템과 적응형 할당 모델에 의해 성능이 향상됨을 입증한다—이는 체계적인 협업을 통해 집단 지능이 개인 능력을 초월할 수 있음을 시사한다.

ABSTRACT

Independent from the still ongoing research in measuring individual intelligence, we anticipate and provide a framework for measuring collective intelligence. Collective intelligence refers to the idea that several individuals can collaborate in order to achieve high levels of intelligence. We present thus some ideas on how the intelligence of a group can be measured and simulate such tests. We will however focus here on groups of artificial intelligence agents (i.e., machines). We will explore how a group of agents is able to choose the appropriate problem and to specialize for a variety of tasks. This is a feature which is an important contributor to the increase of intelligence in a group (apart from the addition of more agents and the improvement due to common decision making). Our results reveal some interesting results about how (collective) intelligence can be modeled, about how collective intelligence tests can be designed and about the underlying dynamics of collective intelligence. As it will be useful for our simulations, we provide also some improvements of the threshold allocation model originally used in the area of swarm intelligence but further generalized here.

연구 동기 및 목표

• AI 에이전트 집단에서 집단 지능을 측정하기 위한 공식적 프레임워크를 개발하는 것.
• 공동 의사결정과 작업 할당이 개인 에이전트 능력 이상의 집단 지능을 향상시키는 방식을 조사하는 것.
• 사회적 동적 요소와 적응형 자원 할당을 통합한 집단 지능 테스트를 설계하고 시뮬레이션하는 것.
• 다중 작업, 이질적 에이전트 환경에서 사용 가능한 보다 일반화된 임계값 할당 모델을 정교화하는 것.
• 에이전트 능력, 문제 난이도, 투표 시스템이 집단 성능에 미치는 영향을 탐구하는 것.

제안 방법

• 개별 에이전트 지능을 능력 매개변수 α를 갖는 항목 반응 함수로 모델링하며, 성능 Pλ(α)는 문제 해결 정확도를 반영한다.
• 임계값 기반 할당 모델을 사용하여 에이전트가 자극 강도 Sj 와 임계값 θij 에 따라 확률적으로 작업을 전환하도록 하며, 이는 에이전트별 지능을 고려한 일반화된 형태로 확장된다.
• 에이전트 능력 Pλ(α)에서 유도된 가중치를 사용해 결정을 집계하는 투표 시스템을 도입하여 집단 정확도를 향상시킨다.
• 다양한 조건에서 전문화와 노이즈를 고려해 다수의 문제에 대해 그룹 성능을 시뮬레이션하며, 동일한 및 이질적인 에이전트 그룹을 테스트한다.
• 임계값 업데이트 및 자극 강도에 대한 동적 적응 규칙을 구현하며, 할당 정확도를 모델링하기 위해 에이전트 지능에 기반한 흐름을 포함한다.
• 에이전트에게 문제 난이도 추정치와 능력 측정치를 제공하는 영향을 테스트하고, 랜덤 및 최고 성능 모방과 같은 메커니즘을 통해 사회적 학습을 모델링한다.

실험 결과

연구 질문

• RQ1 협업과 전문화를 통해 집단의 지능이 가장 지능적인 개별 에이전트의 지능을 뛰어넘을 수 있는가?
• RQ2 특히 가중 투표 방식을 통한 공동 의사결정은 단순 다수결 투표에 비해 집단 성능에 어떤 영향을 미치는가?
• RQ3 문제 난이도나 자신의 능력 측정치를 제공할 경우 집단 지능에 어떤 영향을 미치는가?
• RQ4 다중 작업 환경에서 작업 할당, 특히 전문화된 할당 방식은 전체 집단 성능에 어떤 영향을 미치는가?
• RQ5 임계값 할당 모델을 지능에 따라 할당 정확도를 반영하도록 조정할 수 있으며, 그 결과는 무엇인가?

주요 결과

• 특화된 에이전트는 비특화된 에이전트보다 집단 성능이 뚜렷이 향상되며, 이는 집단 지능 향상에 있어 작업 전문화의 가치를 입증한다.
• 에이전트 능력에 따라 투표에 가중치를 두는 가중 투표 시스템은 단순 다수결 투표보다 뛰어나며, 특히 고성능 및 저성능 에이전트가 공존할 경우 더욱 두드러진다.
• 문제 난이도 측정치를 제공할 경우, 특히 다중 작업 환경에서 복잡한 상황에서 집단 성능이 향상된다.
• 정확도가 50% 미만인 에이전트도 최적의 투표 설계에서 투표를 반전시켜 음수 가중치를 적용함으로써 집단에 기여할 수 있다.
• 높은 α 값을 가진 지능적인 에이전트는 더 정확한 작업 할당 결정을 내리며, α 에 기반해 할당 확률를 흐트리는 것으로 동적 환경에서의 강인성을 향상시킬 수 있다.
• 임계값 할당 모델은 적응 규칙을 포함해 일반화되고 향상될 수 있으며, 특히 에이전트 지능에 반비례하는 노이즈 항목을 포함함으로써 실제 할당 동적 과정을 더 잘 반영할 수 있다.