[논문 리뷰] Grounding Artificial Intelligence in the Origins of Human Behavior

Eleni Nisioti, Clément Moulin-Frier|arXiv (Cornell University)|2020. 12. 15.

Evolutionary Game Theory and Cooperation참고 문헌 67인용 수 6

한 줄 요약

이 논문은 인간 행동생태학(HBE)과 강화학습(RL)을 연결하는 교차학문적 프레임워크를 제안하여 인공지능에서 개방형 스킬 습득을 생태학적 기반으로 둔다. 환경의 복잡성, 문화적 니치 구축, 사회적 집단 역학과 같은 생태학적 원리를 다중에이전트 시스템과 종신학습과 같은 RL 연구 분야에 대응시킴으로써, 적응성과 확장성을 향상시키는 피드백 루프를 규명하고, 인간 진화사의 기반에 둔 인공지능 개발을 위한 새로운 연구 방향을 제시한다.

ABSTRACT

Recent advances in Artificial Intelligence (AI) have revived the quest for agents able to acquire an open-ended repertoire of skills. However, although this ability is fundamentally related to the characteristics of human intelligence, research in this field rarely considers the processes that may have guided the emergence of complex cognitive capacities during the evolution of the species. Research in Human Behavioral Ecology (HBE) seeks to understand how the behaviors characterizing human nature can be conceived as adaptive responses to major changes in the structure of our ecological niche. In this paper, we propose a framework highlighting the role of environmental complexity in open-ended skill acquisition, grounded in major hypotheses from HBE and recent contributions in Reinforcement learning (RL). We use this framework to highlight fundamental links between the two disciplines, as well as to identify feedback loops that bootstrap ecological complexity and create promising research directions for AI researchers.

연구 동기 및 목표

• 현재의 AI 연구에서 생태학적 기반의 부족, 특히 개방형 스킬 습득 분야에서의 부족을 해결하기 위해.
• 핵심 HBE 가설을 RL 연구 과제에 대응시켜 인간 행동생태학(HBE)과 강화학습(RL) 간의 기본적 연관성을 규명하기 위해.
• 생태학적 복잡성과 피드백 메커니즘을 활용하여 RL에서 에이전트의 적응성과 확장성을 향상시키는 개념적 프레임워크를 제안하기 위해.
• 문화적 니치 구축과 사회적 복잡성과 같은 공통 메커니즘을 통해 HBE와 RL 공동체 간의 상호교류를 촉진하기 위해.
• 인간 진화의 생태학적 피드백 루프에서 영감을 얻어 MARL과 메타-RL 분야에서 아직 탐색되지 않은 연구 방향을 규명하기 위해.

제안 방법

• 저자들은 사회적 집단 크기, 환경 변동성, 문화적 니치 구축과 같은 핵심 HBE 가설을 분석하고, 다중에이전트 강화학습(MARL), 종신학습, 내재적 동기 등 RL 연구 분야에 대응시킨다.
• 생태학적 요인(예: 환경 복잡성, 집단 규모)과 인지적 결과(예: 도구 사용, 언어, 적응성) 사이의 피드포워드 및 피드백 루프를 식별하고, 이러한 루프가 RL 환경에서 어떻게 시뮬레이션될 수 있는지 모델링한다.
• 기존의 RL 벤치마크와 아키텍처(예: SAC, PPO)를 사용하여 다중에이전트 설정에서 사회적 네트워크 구조와 의사소통의 기원을 포함한 생태학적 동역학을 시뮬레이션한다.
• 발달 과학과 진화 이론의 통찰을 통합하여 누적적 문화학습과 언어 및 행동의 조합적 구조가 어떻게 RL을 통해 학습될 수 있는지 모델링한다.
• 공정성, 지속 가능성, 사회복지와 같은 인간-생태학 기반 평가 지표를 도입하여 복잡하고 동적인 환경에서의 에이전트 성능 평가에 활용한다.
• 다층적 생태학적 피드백 루프를 시각화하기 위해 개념적 모델(그림 1)을 제안하여 향후 RL 분야의 경험적 및 계산적 탐색을 안내한다.

실험 결과

연구 질문

• RQ1 인간 행동생태학(HBE)의 원칙은 어떻게 개방형 강화학습 에이전트 설계에 기여할 수 있는가?
• RQ2 문화적 니치 구축과 같은 생태계의 피드백 메커니즘은 다중에이전트 RL에서 어떻게 모델링되어 적응성과 확장성을 향상시킬 수 있는가?
• RQ3 사회적 집단 크기와 네트워크 구조는 사회적 복잡성 가설이 예측한 것처럼 RL 에이전트에서 의사소통과 협력의 기원에 어떤 영향을 미치는가?
• RQ4 인간 발달에서 관찰되는 언어와 행동의 조합적 구조는 공유된 표현 구조를 통해 RL 에이전트에서 얼마나 잘 재현될 수 있는가?
• RQ5 생태학적 복잡성은 어떻게 체계적으로 활용되어 더 강력하고 자기 향상형 학습 커리큘럼을 인공 에이전트에 구현할 수 있는가?

주요 결과

• 연구는 HBE 가설—예를 들어 환경 변동성이 도구 사용을 형성하는 데 기여한다는 점—과 RL 연구의 적응적 스킬 습득 간 강력한 개념적 일치를 규명한다.
• 인간 사회에서 관찰되는 문화적 복합체와 환경 안정성 간의 피드백 루프는 RL에서 더 견고하고 확장 가능한 학습 시스템을 만들기 위해 모델링될 수 있다.
• 집단 규모가 인지 능력과 관련된 사회적 복잡성 가설은 MARL 실험을 통해 네트워크 구조가 의사소통과 협력의 기원에 상당한 영향을 미친다는 점에서 지지된다.
• 인간에서 공진화된 것으로 추정되는 언어와 운동 행동의 조합적 구조는 공유된 표현 아키텍처를 통해 RL 에이전트에서 재현될 수 있으며, 이는 일반화와 적응성을 향상시킨다.
• 사회가 환경을 수정하여 변동성을 감소시키는 문화적 니치 구축은 RL에서 자동 커리큘럼으로 모델링될 수 있으며, 전통적 커리큘럼보다 더 빠르고 효율적인 학습을 이끈다.
• 지속 가능성, 공정성 등 인간-생태학 기반 평가 지표를 RL 평가에 통합함으로써 개방형 지능에 대해 더 의미 있고 생물학적으로 타당한 기준이 마련된다.