[論文レビュー] Intrinsically Motivated Exploration for Automated Discovery of Patterns in Morphogenetic Systems.

Chris Reinke, Mayalen Etcheverry+1 more|arXiv (Cornell University)|Aug 19, 2019

Cellular Automata and Applications参考文献 8被引用数 6

ひとこと要約

本稿では、深層自己符号化器に基づく目的空間表現を用いたPOP-IMGEPを用いて、連続的ゲーム・オブ・ライフ（GOL）モデルにおいて、人為的ラベルなしで多様な自己組織的空間パターンを自律的かつ自動的に発見する、内発的動機付けの機械学習フレームワークを提案する。本手法は、人為的ラベルなしで新規パターンを効率的に同定でき、熟練者によって手作業で整備されたデータベースの性能に匹敵する一方で、高次元の力学系のスケーラブルかつ自動的な探索を可能にする。

ABSTRACT

In many complex dynamical systems, artificial or natural, one can observe self-organization of patterns emerging from local rules. Cellular automata, like the Game of Life (GOL), have been widely used as abstract models enabling the study of various aspects of self-organization and morphogenesis, such as the emergence of spatially localized patterns. However, findings of self-organized patterns in such models have so far relied on manual tuning of parameters and initial states, and on the human eye to identify interesting patterns. In this paper, we formulate the problem of automated discovery of diverse self-organized patterns in such high-dimensional complex dynamical systems, as well as a framework for experimentation and evaluation. Using a continuous GOL as a testbed, we show that recent intrinsically-motivated machine learning algorithms (POP-IMGEPs), initially developed for learning of inverse models in robotics, can be transposed and used in this novel application area. These algorithms combine intrinsically-motivated goal exploration and unsupervised learning of goal space representations. Goal space representations describe the interesting features of patterns for which diverse variations should be discovered. In particular, we compare various approaches to define and learn goal space representations from the perspective of discovering diverse spatially localized patterns. Moreover, we introduce an extension of a state-of-the-art POP-IMGEP algorithm which incrementally learns a goal representation using a deep auto-encoder, and the use of CPPN primitives for generating initialization parameters. We show that it is more efficient than several baselines and equally efficient as a system pre-trained on a hand-made database of patterns identified by human experts.

研究の動機と目的

• 形態形成モデルのような高次元の複雑な力学系において、多様な自己組織的空間パターンを自動で発見すること。
• ゲーム・オブ・ライフのような系における、手動によるパrameterおよび初期状態のチューニングや人為的依存のパターン同定の限界を克服すること。
• 内発的動機付けと学習された目的空間表現を用いた、教師なしで目的指向的な探索を可能にするフレームワークの開発。
• 局所的パターンの顕著な特徴を捉える目的空間表現の学習手法を評価・比較すること。
• 最新のPOP-IMGEPアルゴリズムを、段階的深層表現学習とCPPNベースの初期化により拡張し、効率性を向上させること。

提案手法

• 連続的ゲーム・オブ・ライフモデルにおける形態形成パターン発見の分野に、内発的動機付けの目的探索フレームワークであるPOP-IMGEPを適応する。
• 視覚的パターンから目的空間のコンactかつ分離可能な表現を段階的に学習するための深層自己符号化器を採用し、多様な特徴の効率的探索を可能にする。
• CPPNプリミティブを用いて、高次元パrameter空間における探索カバレッジを向上させる多様な初期パラメータを生成する。
• 教師なしの目的空間表現学習と内発的好奇心を統合し、新規で多様なパターン配置へと探索を誘導する。
• 形状、サイズ、対称性などの空間的パターン特徴に基づく目的空間表現を、人為的ラベルなしにデータから直接学習する。
• 多様性と新規性の指標を用いて、ランダム探索や人為的カスタマイズ済みパターンデータベースなどのベースラインと性能を比較評価する。

実験結果

リサーチクエスチョン

• RQ1 人為的介入なしで、学習された目的空間表現を用いた内発的動機付け探索が、連続的ゲーム・オブ・ライフにおいて多様な自己組織的パターンを効果的に発見できるか？
• RQ2 目的空間表現の学習アプローチの違いが、発見されたパターンの多様性と新規性にどのように影響するか？
• RQ3 CPPNによって生成された初期パラメータを用いることで、ランダム初期化に比べて探索効率がどの程度向上するか？
• RQ4 深層自己符号化器に基づく目的表現学習手法が、熟練者によって整備されたパターンデータベースで事前学習されたシステムと同等またはそれを上回る性能を達成できるか？
• RQ5 目的表現の段階的学習は、高次元力学系における長期的な探索効率とパターン発見にどのように影響するか？

主な発見

• 深層自己符号化器に基づく目的空間表現学習を用いた提案されたPOP-IMGEPフレームワークは、ランダム探索やベースライン探索手法よりも、多様な空間的局在パターンをより効率的に発見する。
• 訓練中に人為的ラベルなしに、熟練者によって手作業で整備されたパターンデータベースで事前学習されたシステムと同等の性能を達成する。
• CPPNプリミティブを用いた初期化は、探索カバレッジを顕著に向上させるとともに、新規パターンタイプへの収束を加速する。
• 目的表現の段階的学習により、災難的忘却を伴わず、長期間にわたり新規で多様なパターンの発見が継続可能である。
• 本フレームワークは、教師なしの目的空間表現学習が、形状や対称性といった形態形成パターンの顕著な特徴を、事前に人為的に定義された特徴なしに効果的に捉えることができることを示している。
• 本手法は、手動によるパrameterチューニングや人為的観察への依存を低減し、複雑な力学系におけるスケーラブルかつ自動的な発見を可能にする。