[논문 리뷰] Using Indirect Encoding of Multiple Brains to Produce Multimodal Behavior

Jacob Schrum, Joel Lehman외 1명|arXiv (Cornell University)|2016. 04. 26.

Reinforcement Learning in Robotics참고 문헌 16인용 수 4

한 줄 요약

이 논문은 기하학적 관계를 가정하지 않고 다중 모odal 행동을 위한 다수의 독립적인 신경망('뇌')을 기하학적 제약 없이 기하학적으로 간접적으로 인코딩하는 데 사용되는 새로운 간접 인코딩 프레임워크인 Multi-Brain HyperNEAT(MB-HyperNEAT)를 소개한다. HyperNEAT의 확장 가능한 간접 인코딩과 MM-NEAT의 모듈형 및 선호도 뉴런 기반 제어를 융합함으로써, MB-HyperNEAT는 진화 과정에서 정책의 수와 활성화 논리 구조를 동시에 탐색할 수 있게 되었으며, 이는 기존의 상황 기반 정책 기하학과 비교해 다중 모달 도메인에서 뛰어난 성능을 발휘한다.

ABSTRACT

An important challenge in neuroevolution is to evolve complex neural networks with multiple modes of behavior. Indirect encodings can potentially answer this challenge. Yet in practice, indirect encodings do not yield effective multimodal controllers. Thus, this paper introduces novel multimodal extensions to HyperNEAT, a popular indirect encoding. A previous multimodal HyperNEAT approach called situational policy geometry assumes that multiple brains benefit from being embedded within an explicit geometric space. However, experiments here illustrate that this assumption unnecessarily constrains evolution, resulting in lower performance. Specifically, this paper introduces HyperNEAT extensions for evolving many brains without assuming geometric relationships between them. The resulting Multi-Brain HyperNEAT can exploit human-specified task divisions to decide when each brain controls the agent, or can automatically discover when brains should be used, by means of preference neurons. A further extension called module mutation allows evolution to discover the number of brains, enabling multimodal behavior with even less expert knowledge. Experiments in several multimodal domains highlight that multi-brain approaches are more effective than HyperNEAT without multimodal extensions, and show that brains without a geometric relation to each other outperform situational policy geometry. The conclusion is that Multi-Brain HyperNEAT provides several promising techniques for evolving complex multimodal behavior.

연구 동기 및 목표

• 기존의 다중 모달 신경진화 방법이 제어기 간 기하학적 가정에 의존함으로써 비기하학적 행동 모드에 대한 적용 범위가 제한되는 문제를 해결한다.
• 전문가가 사전에 작업 분할을 정의하는 데 의존도를 줄이고, 진화 과정에서 언제이고 어떻게 다수의 독립적인 신경 제어기를 사용할지를 자동으로 탐색하도록 한다.
• 진화 과정에서 새로운 뇌를 동적으로 결정할 수 있도록 허용하는 '모듈 변이'라는 메커니즘을 도입한다.
• 스케일러블하고 모듈형인 신경망 진화를 통해 복잡한 다중 모달 행동을 지원하는 간접 인코딩의 효과를 평가한다.

제안 방법

• HyperNEAT에 다수의 독립적인 서브스트레이트를 추가하여 각각 별도의 신경망('뇌')을 호스팅하도록 하였으며, 이는 CPPN을 통해 간접적으로 대규모 복잡한 네트워크를 인코딩함으로써 기하학적 제약 없이도 가능하게 하였다.
• 환경적 맥락에 따라 어떤 뇌가 행동을 제어할지를 자율적으로 선택할 수 있도록 선호도 뉴런을 도입함으로써, 인간이 사전에 작업 분할을 정의할 필요 없이도 기능할 수 있도록 하였다.
• 진화 과정 중에 새로운 뇌를 생성할 수 있도록 허용하는 유전적 연산자인 모듈 변이를 구현함으로써, 최적의 제어기 수를 동적으로 탐색할 수 있도록 하였다.
• 다중 작업 CPPN을 사용하여 동시에 다수의 뇌를 인코딩함으로써, 제어기 간 공통적인 구조적 규칙성을 유지하면서도 모듈성과 독립성을 확보하였다.
• 새로운 두 개의 도메인을 포함한 네 개의 다중 모달 도메인에 프레임워크를 적용하여, 작업 분할과 모듈성의 정도에 따라 다양한 조건에서 성능을 평가하였다.
• MB-HyperNEAT를 기준선인 HyperNEAT, 상황 기반 정책 기하학, MM-NEAT 변종과 비교하여 적합도 점수, 뇌 사용 패턴, 통계적 유의성 등을 기준으로 평가하였다.

실험 결과

연구 질문

• RQ1 서로 다른 제어기 간 기하학적 관계를 가정하지 않는 간접 인코딩 프레임워크를 사용하여 다중 모달 행동을 효과적으로 진화시킬 수 있는가?
• RQ2 사용자에 의해 사전에 정의된 작업 분할이 없는 상황에서 선호도 뉴런은 얼마나 자율적인 뇌 선택을 가능하게 하는가?
• RQ3 모듈 변이가 최적의 뇌 수를 진화 과정에서 탐색할 수 있도록 하여 고정된 아키텍처 기반 접근법보다 성능을 향상시키는가?
• RQ4 다양한 수준의 작업 구조를 가진 다중 모달 도메인에서 MB-HyperNEAT의 성능은 상황 기반 정책 기하학과 표준 HyperNEAT와 비교해 어떻게 되는가?

주요 결과

• 다중 작업 CPPN을 사용한 Multi-Brain HyperNEAT는 모든 테스트 도메인에서 상황 기반 정책 기하학을 일관되게 뛰어넘었으며, 제어기 간 기하학적 제약이 필요하지 않으며 오히려 해로울 수 있음을 입증하였다.
• 선호도 뉴런 기반 접근법은 대부분의 도메인에서 상황 기반 정책 기하학과 통계적으로 유사한 적합도 점수를 달성하였으며, 이는 인간이 사전에 작업 분할을 정의하지 않은 상황에서 매우 높은 적응성을 보임을 시사한다.
• 선호도 뉴런을 사용한 에이전트는 표준 HyperNEAT(다중 모달 확장 기능 없음)보다 유의미하게 뛰어난 성능을 보였으며, 이는 사전 작업 분해 없이도 다수의 뇌를 통한 다중 모달 제어가 성능 향상에 기여할 수 있음을 보여준다.
• 많은 수의 사용되지 않는 뇌가 생성되었음에도 불구하고, 모듈 변이 방법은 고정 아키텍처 기반 선호도 뉴런 접근법과 유사한 성능을 달성하였으며, 이는 인트론 유사 CPPN 영역가 진화적 내성성을 제공하여 희귀하지만 유익한 돌연변이가 발생할 수 있음을 시사한다.
• 모든 도메인의 최종 챔피언은 오직 한 개에서 세 개의 뇌만을 사용하였으며, 이는 세 개를 초과하는 뇌의 수는 거의 필요로 하지 않으며, 효과적인 선택 기준이 확립되어 있다면 뇌의 수가 성능에 큰 영향을 주지 않는다는 점을 시사한다.
• 결과적으로 MB-HyperNEAT는 다중 모달 제어기 설계에 전문 지식이 필요로 하는 정도를 줄여주며, 복잡한 행동 진화를 위한 확장 가능하고 일반화 가능한 프레임워크로 기능함을 시사한다.