[论文解读] Intrinsically Motivated Exploration for Automated Discovery of Patterns in Morphogenetic Systems.

Chris Reinke, Mayalen Etcheverry+1 more|arXiv (Cornell University)|Aug 19, 2019

Cellular Automata and Applications参考文献 8被引用 6

一句话总结

本文提出了一种基于深度自编码器目标空间表征的内在动机机器学习框架，采用POP-IMGEP方法，在连续的元胞自动机（Game of Life, GOL）模型中自主发现多样化的自组织空间模式。结果表明，该方法无需人工标注即可高效发现新颖模式，其性能可与专家手工整理的数据库相媲美，同时实现了对高维动力系统的大规模自动化探索。

ABSTRACT

In many complex dynamical systems, artificial or natural, one can observe self-organization of patterns emerging from local rules. Cellular automata, like the Game of Life (GOL), have been widely used as abstract models enabling the study of various aspects of self-organization and morphogenesis, such as the emergence of spatially localized patterns. However, findings of self-organized patterns in such models have so far relied on manual tuning of parameters and initial states, and on the human eye to identify interesting patterns. In this paper, we formulate the problem of automated discovery of diverse self-organized patterns in such high-dimensional complex dynamical systems, as well as a framework for experimentation and evaluation. Using a continuous GOL as a testbed, we show that recent intrinsically-motivated machine learning algorithms (POP-IMGEPs), initially developed for learning of inverse models in robotics, can be transposed and used in this novel application area. These algorithms combine intrinsically-motivated goal exploration and unsupervised learning of goal space representations. Goal space representations describe the interesting features of patterns for which diverse variations should be discovered. In particular, we compare various approaches to define and learn goal space representations from the perspective of discovering diverse spatially localized patterns. Moreover, we introduce an extension of a state-of-the-art POP-IMGEP algorithm which incrementally learns a goal representation using a deep auto-encoder, and the use of CPPN primitives for generating initialization parameters. We show that it is more efficient than several baselines and equally efficient as a system pre-trained on a hand-made database of patterns identified by human experts.

研究动机与目标

• 自动化发现高维复杂动力系统（如形态发生模型）中的多样化自组织空间模式。
• 解决在类似元胞自动机（Game of Life）等系统中，因人工调节参数与初始状态以及依赖人工识别模式所带来的局限性。
• 开发一种框架，实现无需监督、目标导向的探索，结合内在动机与学习到的目标表征。
• 评估并比较不同方法在学习目标空间表征方面的表现，以捕捉局部模式的显著特征。
• 通过增量式深度表征学习与基于CPPN的初始化，扩展最先进的POP-IMGEP算法，以提升效率。

提出的方法

• 将POP-IMGEP——一种内在动机驱动的目标探索框架——适配至连续元胞自动机（GOL）模型中的形态发生模式发现领域。
• 采用深度自编码器，从视觉模式中增量式学习紧凑且解耦的目标空间表征，从而实现对多样化特征的高效探索。
• 利用CPPN基元生成多样化的系统初始化参数，提升在高维参数空间中的探索覆盖范围。
• 将无监督目标空间表征学习与内在好奇心相结合，引导探索朝向新颖且多样的模式构型。
• 基于空间模式特征（如形状、大小、对称性）定义目标空间表征，直接从数据中学习，无需人工标注。
• 通过多样性与新颖性度量，与随机搜索及人工整理的模式数据库基线方法进行性能对比评估。

实验结果

研究问题

• RQ1 在无任何人工干预的情况下，结合学习到的目标表征的内在动机探索，能否有效发现连续元胞自动机中多样化自组织空间模式？
• RQ2 不同目标空间表征学习方法对所发现模式的多样性与新颖性有何影响？
• RQ3 与随机初始化相比，使用CPPN生成的初始参数在多大程度上提升了探索效率？
• RQ4 基于深度自编码器的目标表征学习方法是否能与在专家手工整理的模式数据库上预训练的系统性能相当或更优？
• RQ5 目标表征的增量式学习在高维动力系统中对长期探索效率与模式发现有何影响？

主要发现

• 所提出的基于深度自编码器目标表征学习的POP-IMGEP框架，相较于随机搜索与基线探索方法，能更高效地发现多样化空间局域化模式。
• 该方法在训练过程中未使用任何人工标注，其性能仍可与在专家手工整理的模式数据库上预训练的系统相媲美。
• 使用CPPN基元进行初始化显著提升了探索覆盖范围，并加速了对新型模式类型的收敛。
• 目标表征的增量式学习使系统能够长期持续发现新且多样的模式，且不会发生灾难性遗忘。
• 该框架表明，无监督的目标空间表征学习可有效捕捉形态发生模式的显著特征（如形状与对称性），而无需依赖人工预定义特征。
• 该方法降低了对人工参数调节与人工观察的依赖，实现了在复杂动力系统中可扩展的自动化发现。