[논문 리뷰] Computational evolution of decision-making strategies

Peter D. Kvam, Joseph Cesario외 3명|arXiv (Cornell University)|2015. 09. 18.

Evolutionary Game Theory and Cooperation참고 문헌 15인용 수 11

한 줄 요약

이 논문은 환경의 난이도에 따라 의사결정 전략이 인공적 선택을 통해 어떻게 기능적으로 진화하는지를 시뮬레이션하는 계산적 진화 프레임워크를 제시한다. 복잡한 환경은 더 큰 뇌와 순차적 표본 추출 전략을 선호하는 반면, 단순한 환경은 더 작은 뇌와 히ュ리스틱 유사 전략을 선호한다. 이는 복잡성 비용을 명시적으로 고려하지 않더라도, 돌연변이 부담이 뇌 크기의 핵심 제약 조건이 된다는 점을 시사한다.

ABSTRACT

Most research on adaptive decision-making takes a strategy-first approach, proposing a method of solving a problem and then examining whether it can be implemented in the brain and in what environments it succeeds. We present a method for studying strategy development based on computational evolution that takes the opposite approach, allowing strategies to develop in response to the decision-making environment via Darwinian evolution. We apply this approach to a dynamic decision-making problem where artificial agents make decisions about the source of incoming information. In doing so, we show that the complexity of the brains and strategies of evolved agents are a function of the environment in which they develop. More difficult environments lead to larger brains and more information use, resulting in strategies resembling a sequential sampling approach. Less difficult environments drive evolution toward smaller brains and less information use, resulting in simpler heuristic-like strategies.

연구 동기 및 목표

• 의사결정 전략이 사전에 가정된 전략이 아니라 환경적 제약 조건에 어떻게 반응하여 진화하는지를 조사하기 위해.
• 뇌 복잡성과 정보 사용 방식이 진화 과정을 통해 환경의 난이도에 의해 어떻게 형성되는지를 검토하기 위해.
• 대사 비용이 낮을 때조차도 돌연변이 부담이 뇌 크기를 제한한다는 가설을 검증하기 위해.
• 다양한 환경 조건에서 순차적 표본 추출 전략과 히ュ리스틱 전략의 진화적 출현을 비교하기 위해.
• 동적 의사결정에서 인지 전략의 진화를 이해하는 데 생물학적으로 타당한 프레임워크를 제공하기 위해.

제안 방법

• 동적 이진 의사결정 과제를 해결하기 위해 유전적 알고리즘을 사용해 진화시킨 마르코프 뇌(16노드 신경망)를 가진 인공 에이전트를 사용하였다.
• 에이전트는 신호(S) 또는 노이즈(N)를 나타내는 시간에 따라 변하는 입력을 받으며, 춴적된 증거를 바탕으로 원천을 결정해야 한다.
• 적합도는 결정의 정확성과 속도에 의해 결정되었으며, 시간에 따라 보상을 최대화하는 에이전트가 선택되었다.
• 신호 대 노이즈 비율과 의사결정 난이도를 변화시켜 다양한 환경 조건에서 진화를 수행하였다.
• 세대에 걸쳐 뇌 크기와 정보 사용을 추적하여 복잡성에 대한 진화적 경향을 평가하였다.
• 유전적 부담이 뇌 크기와 전략 진화에 미치는 영향을 평가하기 위해 돌연변이 비율과 내성성을 모델에 통합하였다.

실험 결과

연구 질문

• RQ1 환경의 난이도는 인공 에이전트의 뇌 크기와 정보 처리 복잡성의 진화에 어떻게 영향을 미치는가?
• RQ2 단순한 환경에서도 복잡한 전략이 가능하고 정확할 때, 히ュ리스틱 유사 전략이 선호되는가?
• RQ3 대사 비용이 낮을 때조차도 돌연변이 부담만으로도 더 큰 뇌의 진화를 제약할 수 있는가?
• RQ4 진화된 전략이 어느 정도 순차적 표본 추출 또는 비보상 히ュ리스틱과 유사한가?
• RQ5 고난이도와 저난이도 의사결정 환경 간의 진화적 궤적은 어떻게 다를까?

주요 결과

• 더 어려운 환경에서는 더 큰 뇌와 증가된 정보 사용이 나타나며, 축적된 증거 통합을 포함한 순차적 표본 추출과 유사한 전략이 나타났다.
• 단순한 환경은 더 작은 뇌와 감소된 정보 사용을 초래하며, 비보상적이고 히ュ리스틱 유사 전략을 선호하였다.
• 복잡성 비용을 명시적으로 고려하지 않더라도 돌연변이 부담이 제약으로 작용하여, 더 큰 뇌가 복지 우위를 제공하지 않는 더 쉬운 환경에서 뇌 크기를 제한하였다.
• 어려운 환경의 에이전트는 더 긴 처리 체인에도 불구하고 높은 정확도와 내성성을 유지하여 정보 방해에 대한 진화적 저항력을 보였다.
• 진화적 궤적은 복잡한 전략이 환경적 요구 조건이 필요할 때에만 나타나며, 이는 환경에 따라 전략을 사용하는 것을 지지한다.
• 결과적으로 순차적 표본 추출과 빠르고 단순한 히ュ리스틱 전략이 모두 다양한 선택 압력 하에서 진화의 타당한 결과물일 수 있음을 시사한다.