[논문 리뷰] Intrinsically Motivated Exploration for Automated Discovery of Patterns in Morphogenetic Systems.

Chris Reinke, Mayalen Etcheverry외 1명|arXiv (Cornell University)|2019. 08. 19.

Cellular Automata and Applications참고 문헌 8인용 수 6

한 줄 요약

이 논문은 지속적인 게임 오브 라이프(GOL) 모델에서 자율적으로 다양한 자기조직화된 공간 패턴을 탐색하기 위해 딥 오토에인코더 기반의 목표 공간 표현을 사용하는 내재적 동기 부여 기반 기계학습 프레임워크를 제안한다. 이는 인간의 레이블링 없이도 새로운 패턴을 효율적으로 발견하며, 전문가가 수작업으로 정리한 데이터베이스의 성능을 도달함과 동시에 고차원의 동역학 시스템에 대한 확장 가능한 자동 탐색을 가능하게 한다.

ABSTRACT

In many complex dynamical systems, artificial or natural, one can observe self-organization of patterns emerging from local rules. Cellular automata, like the Game of Life (GOL), have been widely used as abstract models enabling the study of various aspects of self-organization and morphogenesis, such as the emergence of spatially localized patterns. However, findings of self-organized patterns in such models have so far relied on manual tuning of parameters and initial states, and on the human eye to identify interesting patterns. In this paper, we formulate the problem of automated discovery of diverse self-organized patterns in such high-dimensional complex dynamical systems, as well as a framework for experimentation and evaluation. Using a continuous GOL as a testbed, we show that recent intrinsically-motivated machine learning algorithms (POP-IMGEPs), initially developed for learning of inverse models in robotics, can be transposed and used in this novel application area. These algorithms combine intrinsically-motivated goal exploration and unsupervised learning of goal space representations. Goal space representations describe the interesting features of patterns for which diverse variations should be discovered. In particular, we compare various approaches to define and learn goal space representations from the perspective of discovering diverse spatially localized patterns. Moreover, we introduce an extension of a state-of-the-art POP-IMGEP algorithm which incrementally learns a goal representation using a deep auto-encoder, and the use of CPPN primitives for generating initialization parameters. We show that it is more efficient than several baselines and equally efficient as a system pre-trained on a hand-made database of patterns identified by human experts.

연구 동기 및 목표

• 형태 발생 모델과 같은 고차원 복잡한 동역학 시스템에서 다양한 자기조직화된 공간 패턴을 자동으로 탐지하는 것을 목표로 한다.
• 게임 오브 라이프와 같은 시스템에서 수동적인 파라미터 및 초기 상태 조정과 인간 의존적 패턴 식별의 한계를 해결하는 것.
• 내재적 동기 부여와 학습된 목표 표현을 활용한 비지도, 목표 지향적 탐색을 가능하게 하는 프레임워크를 개발하는 것.
• 국소 패턴의 주요 특징을 포괄하는 목표 공간 표현을 학습하는 데 사용되는 다양한 방법의 성능을 평가하고 비교하는 것.
• 최신의 POP-IMGEP 알고리즘에 점진적 딥 표현 학습과 CPPN 기반 초기화를 통합하여 효율성을 향상시키는 것.

제안 방법

• 지속적인 게임 오브 라이프 모델에서 형태 발생 패턴 탐지 분야에 적합한 POP-IMGEP, 즉 내재적 동기 부여 기반 목표 탐색 프레임워크를 적용한다.
• 딥 오토에인코더를 활용해 시각적 패턴에서 목표 공간의 압축되고 분리된 표현을 점진적으로 학습함으로써 다양한 특징을 효율적으로 탐색할 수 있도록 한다.
• CPPN 원소를 사용해 시스템의 다양한 초기화 파라미터를 생성함으로써 고차원 파라미터 공간에서의 탐색 커버리지를 향상시킨다.
• 비지도 목표 공간 학습과 내재적 호기심을 통합하여 새로운 다양성 있는 패턴 구성으로의 탐색을 유도한다.
• 형태, 크기, 대칭성과 같은 공간 패턴 특징 기반의 목표 공간 표현을 데이터에서 직접 학습함으로써 인간의 레이블링 없이도 정의한다.
• 다양성과 새로운 패턴 지표를 사용해 랜덤 검색 및 인간이 수작업으로 정리한 패턴 데이터베이스와 같은 기준 기반과의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 학습 중 인간의 개입 없이 학습된 목표 공간 표현을 활용한 내재적 동기 부여 탐색이 지속적인 게임 오브 라이프에서 다양한 자기조직화된 패턴을 효과적으로 탐지할 수 있는가?
• RQ2 목표 공간 표현을 학습하는 데 사용되는 다양한 접근 방식이 탐지된 패턴의 다양성과 새로운 정도에 어떤 영향을 미치는가?
• RQ3 CPPN으로 생성된 초기 파라미터를 사용할 경우 랜덤 초기화에 비해 탐색 효율성이 얼마나 향상되는가?
• RQ4 딥 오토에인코더 기반의 목표 표현 학습 방법이 전문가가 수작업으로 정리한 패턴 데이터베이스로 사전 훈련된 시스템의 성능을 따라하거나 뛰어넘을 수 있는가?
• RQ5 목표 표현의 점진적 학습 방식이 고차원 동역학 시스템에서 장기적인 탐색 효율성과 패턴 탐지에 어떤 영향을 미치는가?

주요 결과

• 딥 오토에인코더 기반의 목표 공간 표현 학습을 통한 제안된 POP-IMGEP 프레임워크는 랜덤 검색 및 기준 탐색 방법보다 다양한 공간적으로 국소화된 패턴을 더 효율적으로 탐지한다.
• 훈련 중 인간의 레이블링 없이도 전문가가 수작업으로 정리한 데이터베이스로 사전 훈련된 시스템과 유사한 성능을 달성한다.
• CPPN 원소를 이용한 초기화는 탐색 커버리지를 크게 향상시키고 새로운 패턴 유형에의 수렴 속도를 가속화한다.
• 목표 표현의 점진적 학습은 치명적인 잊힘 없이 장기간에 걸쳐 새로운 다양성 있는 패턴을 지속적으로 탐지할 수 있도록 한다.
• 비지도 목표 공간 학습이 형태 발생 패턴의 주요 특징, 예를 들어 형태와 대칭성을 인간이 사전에 정의한 특징 없이도 효과적으로 포착할 수 있음을 입증한다.
• 수동적인 파라미터 조정과 인간의 관찰에 대한 의존도를 줄여 고차원 복잡한 동역학 시스템에서 확장 가능한 자동 탐색을 가능하게 한다.