[논문 리뷰] The Case for a Mixed-Initiative Collaborative Neuroevolution Approach

Sebastian Risi, Jinhong Zhang외 5명|arXiv (Cornell University)|2014. 08. 05.

Advanced Memory and Neural Computing참고 문헌 16인용 수 3

한 줄 요약

이 논문은 인간의 직관과 계산적 진화를 융합하여 복잡한 인공신경망(ANN)을 설계하는 혼합 주도형 공동 작업 신경진화 프레임워크를 제안한다. 인간이 제공한 구조적 규칙성(예: 대칭성, 반복성)을 CPPN-컴파일러를 통해 인코딩함으로써, 사용자가 진화된 네트워크를 선택하거나 직접 네트워크 구조를 편집하는 방식으로 번갈아가며 협업할 수 있도록 하여, ANN 구축의 설계 효율성과 창의성을 크게 향상시킨다.

ABSTRACT

It is clear that the current attempts at using algorithms to create artificial neural networks have had mixed success at best when it comes to creating large networks and/or complex behavior. This should not be unexpected, as creating an artificial brain is essentially a design problem. Human design ingenuity still surpasses computational design for most tasks in most domains, including architecture, game design, and authoring literary fiction. This leads us to ask which the best way is to combine human and machine design capacities when it comes to designing artificial brains. Both of them have their strengths and weaknesses; for example, humans are much too slow to manually specify thousands of neurons, let alone the billions of neurons that go into a human brain, but on the other hand they can rely on a vast repository of common-sense understanding and design heuristics that can help them perform a much better guided search in design space than an algorithm. Therefore, in this paper we argue for a mixed-initiative approach for collaborative online brain building and present first results towards this goal.

연구 동기 및 목표

• 순수 알고리즘 기반의 신경진화가 대규모 복잡한 ANNs를 설계하는 데 한계를 보일 때 이를 보완하고 인간의 설계 통찰을 통합함으로써 문제를 해결하고자 한다.
• 진화 알고리즘에서의 함정이 되는 적합도 표면과 검색 공간의 폭발 문제를 인간이 이끄는 상호작용 기반의 진화로 극복하고자 한다.
• 사람과 기계가 번갈아가며 ANN 설계에 주도권을 넘기며 상호보완적인 역량을 발휘하는 공동 작업 프레임워크를 개발하고자 한다.
• 인간이 애너테이션한 구조적 규칙성(예: 대칭성 등)이 CPPN-컴파일러를 통해 어떻게 인코딩되고 진화되어 의미 있는 네트워크 변형을 만들어내는지 탐구하고자 한다.
• 상호작용 선택과 직접 설계 편집을 모두 지원하는 하이브리드 시스템을 통해 확장 가능하고 실시간, 공동 작업이 가능한 뇌 설계를 가능하게 하고자 한다.

제안 방법

• 복잡한 ANN 구조를 압축하고 생성 가능한 게놈 표현으로 사용하기 위해 구성적 패턴 생성 네트워크(CPPN)를 활용한다.
• 고수준의 인간 애너테이션(예: 대칭성, 반복성 등)을 CPPN 게놈으로 번역하기 위해 CPPN-컴파일러를 활용하여 도메인 특화된 구조적 규칙성을 통합한다.
• 혼합 주도형 상호작용을 지원: 사용자는 진화된 ANNs를 선택하거나 직접 네트워크 구조를 편집할 수 있으며, 표현형의 변화는 다시 게놈으로 컴iles된다.
• 지속적인 혁신 탐색과 상호작용 기반 진화 계산(IEC)을 통합하여 局부 최적해에 갇히는 것을 방지하고 선택 작업에서의 사용자 피로를 감소시킨다.
• BrainCrafter에서 실시간 시뮬레이션을 통해 네트워크 설계 중 로봇 행동을 시각화함으로써, 구조적 변화에 대한 즉각적인 피드백을 제공한다.
• 사람들이 다른 이들이 만든 고성능 솔루션을 기반으로 개선함으로써 공동 작업 기반의 협업을 가능하게 한다.

실험 결과

연구 질문

• RQ1 사람들이 온라인에서 공동 작업하면서 제어 작업을 위한 복잡한 ANNs를 효과적으로 설계할 수 있으며, 자연스럽게 어떤 구조적 패턴을 식별하는가?
• RQ2 사람이 식별한 규칙성(예: 대칭성, 반복성 등)이 진화된 ANNs의 효율성과 품질을 얼마나 향상시키는가?
• RQ3 CPPN-컴파일러가 인간이 제공한 설계 힌트를 얼마나 잘 의미 있는 ANNs의 변형으로 인코딩하고 전파할 수 있는가?
• RQ4 사람과 기계가 번갈아가며 주도권을 넘기는 방식이 복잡하고 함정적인 적합도 표면에서 ANN 진화의 탐색을 어떻게 향상시키는가?
• RQ5 혼합 주도형 시스템이 순수 자동화 또는 순수 상호작용 기반 접근 방식보다 대규모이고 행동적으로 복잡한 ANNs 설계에서 뚜렷이 슈퍼리어한 성능을 보일 수 있는가?

주요 결과

• 사용자들은 복잡한 ANN 설계에 핵심적인 영향을 미치는 대칭성, 반복성 등의 구조적 규칙성을 자연스럽게 인식하고 적용하는 데 강력한 직관을 보였다.
• CPPN-컴파일러를 통한 인간 애너테이션 규칙성 통합은 목적에 맞는 구조적 모티프를 유지하면서도 의미 있고 다양하며 고성능인 네트워크 변형을 생성하는 데 기여했다.
• 혼합 주도형 프레임워크는 사용자가 선택과 직접 편집을 원활하게 번갈아 사용할 수 있도록 하여 설계 제어력을 향상시키고 인지적 부담을 감소시켰다.
• BrainCrafter에서의 공동 설계는 사용자가 고성능 솔루션을 기반으로 반복적으로 개선함으로써 복잡한 행동에로의 수렴을 가속화시켰다.
• 시스템은 인간이 이끄는 구조적 제약 조건을 포함한 대규모 ANNs를 표현하고 진화시키기 위해 CPPN-컴파일러를 사용할 수 있음을 입증했다.
• 초기 결과는 인간의 통찰과 계산적 진화를 혼합 주도 모델로 융합함으로써, 함정이거나 고차원적인 검색 공간에서 전통적 신경진화의 한계를 극복할 수 있음을 시사한다.