[論文レビュー] Hierarchically Organized Latent Modules for Exploratory Search in Morphogenetic Systems

Mayalen Etcheverry, Clément Moulin-Frier+1 more|arXiv (Cornell University)|Jul 2, 2020

Cellular Automata and Applications参考文献 77被引用数 12

ひとこと要約

この論文では、連続的なライフゲーム（Lenia）のような形態形成系における探索的検索のための、多様でユーザーに適応可能な行動埋め込みを学習する階層的・モジュラーな自己符号化器であるHOLMESを紹介する。潜在表現を木構造の階層に動的に整理し、内発的動機づけの目的探索と組み合わせることで、メタ多様性探索を実現する。最小限のフィードバックで発見されたパターンをユーザーの好みに適応可能にし、一貫的で単一の多様性指標に偏るモノリシックなアーキテクチャに比べて著しく優れた性能を発揮する。

ABSTRACT

Self-organization of complex morphological patterns from local interactions is a fascinating phenomenon in many natural and artificial systems. In the artificial world, typical examples of such morphogenetic systems are cellular automata. Yet, their mechanisms are often very hard to grasp and so far scientific discoveries of novel patterns have primarily been relying on manual tuning and ad hoc exploratory search. The problem of automated diversity-driven discovery in these systems was recently introduced [26, 62], highlighting that two key ingredients are autonomous exploration and unsupervised representation learning to describe "relevant" degrees of variations in the patterns. In this paper, we motivate the need for what we call Meta-diversity search, arguing that there is not a unique ground truth interesting diversity as it strongly depends on the final observer and its motives. Using a continuous game-of-life system for experiments, we provide empirical evidences that relying on monolithic architectures for the behavioral embedding design tends to bias the final discoveries (both for hand-defined and unsupervisedly-learned features) which are unlikely to be aligned with the interest of a final end-user. To address these issues, we introduce a novel dynamic and modular architecture that enables unsupervised learning of a hierarchy of diverse representations. Combined with intrinsically motivated goal exploration algorithms, we show that this system forms a discovery assistant that can efficiently adapt its diversity search towards preferences of a user using only a very small amount of user feedback.

研究の動機と目的

• 単一の任意の多様性指標に偏るモノリシックな行動埋め込み空間の限界を解消すること。
• 未知の最終ユーザーの関心に一致する、自動的かつ多様性駆動のパターン発見を形態形成系で可能にすること。
• 動的でユーザー主導の複雑なパターン空間探索を可能にする、モジュラーで階層的な表現学習システムの開発。
• 階層的で教師なし特徴学習が、発見された形態形成パターンの適応性と関連性を向上させることを示すこと。

提案手法

• 複数の抽象レベルで分離可能でタスク固有の潜在表現を学習する階層的・モジュラーな自己符号化器（HOLMES）を提案。
• 観察されたパターンの多様性に基づいて潜在空間を再帰的に分割する木構造の階層を用い、複数レベルの行動特徴表現を可能にする。
• 階層的埋め込みを、葉ノードから目的をサンプリングし、それらの周囲のハイパーキューブ領域内で探索する内発的動機づけの目的探索方策（IMGEP）と統合。
• ノード間の境界をパターン分布に基づいて適合させる動的分割手順を採用し、視覚的に明確に区別できるカテゴリが分離されるように保証。
• ユーザーのフィードバックにより、階層の特定の枝に探索を再重み付けすることで、特定のパターンタイプ（例：SLPs や TLPs）に向けた発見を誘導。
• 継続的学習の形でシステムを訓練し、新しいパターンが発見されるたびに表現を動的に精錬できるようにする。

実験結果

リサーチクエスチョン

• RQ1 階層的表現学習システムは、発見された形態形成パターンとユーザーの好みの整合性を向上させることができるか？
• RQ2 モノリシックな行動埋め込み空間は、本質的に単一で適応不能な多様性指標に探索を偏らせるか？
• RQ3 モジュラーで階層的な自己符号化器は、多様で意味のあるパターン分類を可能にする分離可能でタスク固有の特徴を学習できるか？
• RQ4 高次元かつ複雑な形態形成空間において、ユーザーのフィードバックは特定のパターンタイプへの探索をどれほど効果的に誘導できるか？
• RQ5 階層構造は、平坦でモノリシックなアーキテクチャに比べ、より効率的かつ的確な発見を可能にするか？

主な発見

• HOLMESは、発見されたパターンを視覚的に明確に分類する潜在表現の木構造を成功裏に学習した。例としてSLPsやTLPsが含まれる。
• ガイドなしで動作させた場合、HOLMESは広範な多様性のパターンを発見し、100%のパターンが階層に分布しており、多段階の変異が反映されている。
• シミュレートされたユーザーのフィードバックに従って、HOLMESは探索を再配分する：SLPsに向けたガイドでは34%のパターンがSLPs関連の葉ノードに、TLPsに向けたガイドでは15%がTLPs関連のノードに分類された。
• パターンの割合が低い葉ノード（例：BC 001で5.7%）は、微小なパrameter変更で容易に他のカテゴリに移行する不安定なニッチを示している。
• 階層構造により動的適応が可能であり、好まれるパターンタイプ（例：TLPs や SLPs）に向けた枝は、ガイドが加わるとより複雑かつ高密度に発展する。
• 本システムは、メタ多様性（ユーザー関心に一致する多様性）はモノリシックな埋め込みでは達成できないことを示しており、ユーザー定義の関心に一般化できない。