[논문 리뷰] Intrinsically Motivated Discovery of Diverse Patterns in Self-Organizing Systems

Chris Reinke, Mayalen Etcheverry외 1명|arXiv (Cornell University)|2019. 08. 19.

Cellular Automata and Applications참고 문헌 52인용 수 15

한 줄 요약

이 논문은 연속적인 생명의 게임과 같은 고차원 동역학 시스템에서 다양하게 자가조직화된 패턴을 자동으로 발견하기 위한 내재적 동기부여와 샘플 효율성이 뛰어난 프레임워크를 제안한다. 깊이 있는 오토에인코더를 통한 비지도 목표 공간 표현 학습과 CPPN 기반 초기화를 조합함으로써, 랜덤 서치보다 더 효율적으로 새로운 국소적 패턴을 발견하고 전문가가 수작업으로 정제한 데이터베이스의 성능을 능가한다.

ABSTRACT

In many complex dynamical systems, artificial or natural, one can observe self-organization of patterns emerging from local rules. Cellular automata, like the Game of Life (GOL), have been widely used as abstract models enabling the study of various aspects of self-organization and morphogenesis, such as the emergence of spatially localized patterns. However, findings of self-organized patterns in such models have so far relied on manual tuning of parameters and initial states, and on the human eye to identify interesting patterns. In this paper, we formulate the problem of automated discovery of diverse self-organized patterns in such high-dimensional complex dynamical systems, as well as a framework for experimentation and evaluation. Using a continuous GOL as a testbed, we show that recent intrinsically-motivated machine learning algorithms (POP-IMGEPs), initially developed for learning of inverse models in robotics, can be transposed and used in this novel application area. These algorithms combine intrinsically-motivated goal exploration and unsupervised learning of goal space representations. Goal space representations describe the interesting features of patterns for which diverse variations should be discovered. In particular, we compare various approaches to define and learn goal space representations from the perspective of discovering diverse spatially localized patterns. Moreover, we introduce an extension of a state-of-the-art POP-IMGEP algorithm which incrementally learns a goal representation using a deep auto-encoder, and the use of CPPN primitives for generating initialization parameters. We show that it is more efficient than several baselines and equally efficient as a system pre-trained on a hand-made database of patterns identified by human experts.

연구 동기 및 목표

• 고차원 복잡한 동역학 시스템, 예를 들어 연속적인 생명의 게임과 같은 시스템에서 다양하게 자가조직화된 패턴을 자동으로 탐색하는 것.
• 사람이 제공한 기능 엔지니어링 없이 '흥미로운' 패턴을 정의하는 과제를 해결하기 위해 데이터에서 저차원 목표 공간 표현을 학습하는 것.
• 구조화된 초기화와 내재적 동기부여를 통해 고차원 매개변수 공간 탐색의 샘플 효율성을 향상시키는 것.
• 패턴 탐색 맥락에서 목표 공간 표현 학습을 위한 다양한 방법을 평가하고 비교하는 것.

제안 방법

• 자가조직화 시스템에서의 자동 탐색을 위해 인구 기반 내재적 동기부여 목표 탐색 과정(POP-IMGEPs)을 적응한다.
• 최종 패턴(행동 공간)과 초기 상태(매개변수 공간)의 저차원 분리 표현을 학습하기 위해 깊이 있는 변분 오토에인코더(β-VAE)를 사용한다.
• 생명의 게임 시뮬레이션을 위한 구조적이고 다양한 초기 조건을 생성하기 위해 CPPN(구성 패턴-곱셈 네트워크)을 활용한다.
• 학습된 목표 공간에서 다양성 기반 탐색 전략을 통해 내재적 동기부여를 구현하여 새로운, 상이한 패턴의 탐색을 장려한다.
• 잠재 목표 공간의 이산화된 격자에 기반해 다양성을 측정하며, 점유된 격자 수를 세어 패턴 다양성을 정량화한다.
• 다양한 알고리즘 실행에서 수집한 자기 수집 데이터를 기반으로 β-VAE를 훈련시켜 비지도, 데이터 기반 목표 표현 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습된 목표 공간 표현과 함께 내재적 동기부여 탐색이 인간이 정의한 기능 없이 고차원 동역학 시스템에서 다양하게 자가조직화된 패턴을 탐색할 수 있는가?
• RQ2 목표 공간 표현의 선택(수작업 설계된 것 vs. 학습된 것)이 패턴 탐색의 다양성과 효율성에 어떤 영향을 미치는가?
• RQ3 CPPN 기반 초기화가 복잡한 매개변수 공간 탐색에서 패턴 탐색의 샘플 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 랜덤 서치와 전문가가 수작업으로 정제한 데이터베이스에 비해 제안된 방법은 다양성과 탐색 효율성 측면에서 어떻게 비교되는가?
• RQ5 이산화된 잠재 공간 기반의 다양성 측정법이 탐색된 패턴 간의 의미 있는 차이를 신뢰성 있게 반영하는가?

주요 결과

• β-VAE를 통한 학습된 목표 공간 표현과 CPPN 기반 초기화를 조합한 제안된 방법은 랜덤 서치 및 기준 방법보다 더 높은 패턴 다양성을 달성한다.
• 알고리즘이 인간 전문가가 수작업으로 선별한 패턴 데이터베이스를 사전 훈련한 시스템과 유사한 수의 고유 패턴을 탐색한다.
• 다양성 측정법은 하이퍼파라미터 설정에 대해 강건하며, 다양한 격자 수에 걸쳐 일관된 알고리즘 순위를 보이며 신뢰성을 입증한다.
• β-VAE 기반의 목표 공간 표현은 중요한 기능에 대한 사전 지식 없이도 효과적인 비지도 패턴 다양성 탐색을 가능하게 한다.
• CPPN을 통한 초기화 사용은 샘플 효율성을 크게 향상시켜 고차원 매개변수 공간에서 빠르게 다양한 패턴에 수렴할 수 있도록 한다.
• β-VAE에서의 재구성 결과는 모델이 일반적인 형태와 구조적 특징을 잘 포착하지만 세밀한 무늬는 반영하지 못함을 확인하며, 전반적인 패턴 특징에 집중함을 확인한다.