[논문 리뷰] Hierarchically Organized Latent Modules for Exploratory Search in Morphogenetic Systems

Mayalen Etcheverry, Clément Moulin-Frier외 1명|arXiv (Cornell University)|2020. 07. 02.

Cellular Automata and Applications참고 문헌 77인용 수 12

한 줄 요약

이 논문은 연속적인 라이프 게임(Lenia)과 같은 형태생성 시스템에서 탐색적 검색을 위한 다양한 사용자 맞춤형 행동 임베딩을 학습하는 계층적이고 모듈러한 오토인코더인 HOLMES를 소개한다. 잠재 표현을 트리 구조의 계층으로 동적으로 정리하고, 내재적 동기 부여 목표 탐색과 결합함으로써, 사용자 피드백을 최소로 사용하여 발견된 패턴을 사용자 선호도에 맞게 적응시키는 메타다양성 탐색(meta-diversity search)을 가능하게 한다. 이는 단일 아키텍처에 비해 사용자 관심사와의 일치도에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Self-organization of complex morphological patterns from local interactions is a fascinating phenomenon in many natural and artificial systems. In the artificial world, typical examples of such morphogenetic systems are cellular automata. Yet, their mechanisms are often very hard to grasp and so far scientific discoveries of novel patterns have primarily been relying on manual tuning and ad hoc exploratory search. The problem of automated diversity-driven discovery in these systems was recently introduced [26, 62], highlighting that two key ingredients are autonomous exploration and unsupervised representation learning to describe "relevant" degrees of variations in the patterns. In this paper, we motivate the need for what we call Meta-diversity search, arguing that there is not a unique ground truth interesting diversity as it strongly depends on the final observer and its motives. Using a continuous game-of-life system for experiments, we provide empirical evidences that relying on monolithic architectures for the behavioral embedding design tends to bias the final discoveries (both for hand-defined and unsupervisedly-learned features) which are unlikely to be aligned with the interest of a final end-user. To address these issues, we introduce a novel dynamic and modular architecture that enables unsupervised learning of a hierarchy of diverse representations. Combined with intrinsically motivated goal exploration algorithms, we show that this system forms a discovery assistant that can efficiently adapt its diversity search towards preferences of a user using only a very small amount of user feedback.

연구 동기 및 목표

• 단일 임의의 다양성 지표에 편향되는 단일 아키텍처의 행동 임베딩 공간의 한계를 해결하기 위해.
• 알 수 없는 최종 사용자의 관심사와 일치하는 자동화된 다양성 기반 탐색을 가능하게 하기 위해.
• 동적 사용자 가이드 탐색을 지원하는 모듈러하고 계층적인 표현 학습 시스템을 개발하기 위해.
• 계층적 비지도 특징 학습이 발견된 형태생성 패턴의 적응 가능성과 관련성 향상에 기여하는지 보여주기 위해.

제안 방법

• 다양한 추상화 수준에서 분리된, 임무에 특화된 잠재 표현을 학습하는 계층적이고 모듈러한 오토인코더(HOLMES)를 제안한다.
• 관측된 패턴 다양성에 기반해 잠재 공간을 재귀적으로 분할하는 트리 구조 계층을 사용하여 다수 수준의 행동 특성 기술을 가능하게 한다.
• 계층적 임베딩을 내재적 동기 부여 목표 탐색 정책(IMGEP)과 통합하여, 잎 노드에서 목표를 샘플링하고 그 주변의 초입방형 영역 내에서 탐색한다.
• 패턴 분포에 기반해 노드 간 경계를 적합시키는 동적 분할 절차를 사용하여, 빌드가 뚜렷한 카테고리 간에 분리되도록 보장한다.
• 사용자 피드백을 통해 계층의 특정 브랜치로 탐색을 재가중함으로써, 선호하는 패턴 유형(예: SLPs 또는 TLPs)으로의 탐색을 유도한다.
• 지속적 학습 방식으로 시스템을 훈련하여, 새로운 패턴이 발견될수록 표현을 적응적으로 개선할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 계층적 표현 학습 시스템은 발견된 형태생성 패턴이 사용자 선호도와 얼마나 잘 일치하는가?
• RQ2 단일 아키텍처의 행동 임베딩 공간은 본질적으로 단일 비가역적 다양성 지표로 탐색을 편향시키는가?
• RQ3 모듈러하고 계층적인 오토인코더는 다양하고 의미 있는 패턴 분류를 지원하는 분리된, 임무에 특화된 특징을 학습할 수 있는가?
• RQ4 고차원적이고 복잡한 형태생성 공간에서 사용자 피드백은 특정 패턴 유형으로의 탐색을 얼마나 효과적으로 유도할 수 있는가?
• RQ5 계층적 구조는 평탄한 단일 아키텍처에 비해 더 효율적이고 타겟팅된 탐색을 가능하게 하는가?

주요 결과

• HOLMES는 발견된 패턴을 SLPs 및 TLPs와 같은 뚜렷한 시각적 카테고리로 정리하는 계층적 잠재 표현 트리를 성공적으로 학습한다.
• 가이드 없이도 HOLMES는 광범위한 다양성의 패턴을 발견하며, 100%의 패턴이 계층에 분포되어 있어 다수 수준의 변동성을 반영한다.
• 모의 사용자 피드백에 의해 유도된 경우, HOLMES는 탐색을 재지향한다: SLPs로 유도된 경우 34%의 패턴이 SLPs와 관련된 잎 노드에 속하고, TLPs로 유도된 경우 15%의 패턴이 TLPs와 관련된 노드에 속한다.
• 낮은 패턴 비율(예: BC 001의 경우 5.7%)을 보이는 잎 노드는 작은 매개변수 변화로도 다른 카테고리로 쉽게 이동하는 불안정한 생태적 환경을 나타낸다.
• 계층적 구조는 동적 적응을 가능하게 하며, 선호하는 패턴 유형(예: TLPs 또는 SLPs)으로 향하는 브랜치는 유도될수록 더 복잡하고 조밀하게 채워진다.
• 시스템은 메타다양성—사용자 관심사에 맞춘 다양성—은 단일 임베딩으로는 달성될 수 없으며, 사용자 정의 관심사 간에 일반화하지 못하는 단일 임베딩이 실패함을 보여준다.