[논문 리뷰] Is the Juice Worth the Squeeze? Machine Learning (ML) In and For Agent-Based Modelling (ABM)

Johannes Dahlke, Andreas Pyka외 4명|arXiv (Cornell University)|2020. 01. 01.

Innovation Diffusion and Forecasting참고 문헌 64인용 수 7

한 줄 요약

이 논문은 다양한 분야에서 기계학습(ML)이 에이전트기반모델(ABM)에 어떻게 사용되고 있는지 분석하기 위해 190篇의 연구를 체계적으로 검토하였다. 주요 응용 분야는 경험 학습을 통한 적응형 에이전트 모델링과 ABM 결과 분석으로 나누어진다. 연구는 ML이 특정 맥락—특히 처리 가능성, 고차원 모델, 목표 지향적 에이전트 행동에 있어서 ABM을 향상시키지만, 계산 비용과 설명력 상실의 위험으로 인해 과도한 사용을 경계해야 한다고 결론 내린다.

ABSTRACT

In recent years, many scholars praised the seemingly endless possibilities of using machine learning (ML) techniques in and for agent-based simulation models (ABM). To get a more comprehensive understanding of these possibilities, we conduct a systematic literature review (SLR) and classify the literature on the application of ML in and for ABM according to a theoretically derived classification scheme. We do so to investigate how exactly machine learning has been utilized in and for agent-based models so far and to critically discuss the combination of these two promising methods. We find that, indeed, there is a broad range of possible applications of ML to support and complement ABMs in many different ways, already applied in many different disciplines. We see that, so far, ML is mainly used in ABM for two broad cases: First, the modelling of adaptive agents equipped with experience learning and, second, the analysis of outcomes produced by a given ABM. While these are the most frequent, there also exist a variety of many more interesting applications. This being the case, researchers should dive deeper into the analysis of when and how which kinds of ML techniques can support ABM, e.g. by conducting a more in-depth analysis and comparison of different use cases. Nonetheless, as the application of ML in and for ABM comes at certain costs, researchers should not use ML for ABMs just for the sake of doing it.

연구 동기 및 목표

• 다양한 분야에서 기계학습이 에이전트기반모델(ABM)에 현재 어떻게 적용되고 있는지 종합적이고 체계적인 개요를 제공하기 위해.
• 특히 계산 비용, 모델 해석 가능성, 과학적 가치 측면에서 ABM에 기계학습을 통합할 때의 이점과 단점을 비판적으로 평가하기 위해.
• 이론적 및 방법론적 차원을 기반으로 ABM에서 기계학습의 가장 두드러진 활용 사례를 식별하고 분류하기 위해.
• 모델 성능 향상과 구현 비용 및 위험을 고려할 때, ABM에 기계학습을 통합하는 것이 타당한지('비용 대비 성과') 평가하기 위해.
• 연구 목표에 따라 적절한 기계학습 기법을 선택할 수 있도록 연구자들을 안내하기 위해.

제안 방법

• Scopus를 활용한 체계적 문헌 검토(SLR)를 실시하여 6개 분야(Sociology, Business, Environment, Energy, Agriculture, Economics)에서 397篇의 논문을 대상으로 포괄적인 검색 쿼리를 수행하였다.
• ABM 프로세스 단계, 핵심 ABM 과제, 기계학습 알고리즘/작업 유형 분류 체계를 기반으로 이론적 분류 체계를 도출하여 문헌을 군집화하고 분석하였다.
• 사전 설정된 포함/배제 기준을 적용해 선별 및 필터링을 수행하여 최종적으로 190편의 관련 논문을 확보하였다.
• 기계학습 적용 유형(ABM 내부 vs. ABM 외부), 기계학습 기법(예: 강화학습, 신경망), ABM 목적(예: 에이전트 학습, 출력 분석) 등의 차원에서 연구를 분류하였다.
• 기계학습의 ABM 응용에서의 이점과 위험에 대한 주장에 대해 질적 종합 및 비판적 반성을 수행하여 검토하였다.
• 기계학습이 강화된 ABM 응용에서 모델 성능, 계산 비용, 설명력 간의 상충 관계를 평가하였다.

실험 결과

연구 질문

• RQ1 RQ1: 현재까지 기계학습은 에이전트기반모델(ABM)에 어떻게 활용되었는가?
• RQ2 RQ2: ABM에 기계학습을 사용할 경우 잠재적인 이점과 단점은 무엇인가?
• RQ3 RQ3: 기계학습을 ABM에 통합할 때 어떤 특정 맥락에서 가장 유익하며, 언제는 오히려 역효과를 낳을 수 있는가?
• RQ4 RQ4: 다양한 기계학습 기법은 에이전트 적응성 향상이나 출력 분석과 같은 ABM 목표를 뒷받침하는 데 어떻게 비교 가능한가?
• RQ5 RQ5: 특히 모델의 해석 가능성과 계산 오버헤드 측면에서 ABM에 기계학습을 적용할 때의 주요 위험 요소와 한계는 무엇인가?

주요 결과

• 기계학습은 주로 ABM에서 두 가지 주요 목적을 위해 사용된다: (1) 경험 기반 학습을 통한 적응형 에이전트 모델링, (2) 기존 ABM 시뮬레이션의 출력 분석.
• 강화학습 및 기타 경험 기반 학습 기법이 적응적이고 목표 지향적인 행동을 갖춘 에이전트를 설계하는 데 가장 널리 사용된다.
• 서rogate 모델(Micro 및 Macro)과 같은 기계학습 기법은 계산 효율성을 향상시키는 데 사용되지만, 모델의 해석 가능성과 설명력은 감소할 수 있다.
• ABM에서 기계학습을 사용할 경우 계산 비용이 증가하며, 특히 딥 뉴럴 네트워크 학습은 모델당 수 분에서 수 시간이 소요될 수 있다.
• 모델의 파rameter 설정이나 결과 예측에 기계학습을 과도하게 의존할 경우, 기반이 되는 메커니즘과 동역학을 숨기게 되어 ABM의 과학적 가치가 저하될 수 있다.
• 본 연구는 기계학습 통합이 고차원적이고 다중 모odal 출력을 처리하거나 대규모 매크로 모델에서 에이전트의 적응성을 향상시키는 데 목적이 있을 경우 가장 타당하다고 결론 내린다.