[논문 리뷰] Exploring Promising Stepping Stones by Combining Novelty Search with Interactive Evolution

Brian G. Woolley, Kenneth O. Stanley|arXiv (Cornell University)|2012. 07. 28.

Evolutionary Algorithms and Applications참고 문헌 25인용 수 10

한 줄 요약

이 논문은 복잡한 에이전트 행동의 발견을 가속화하기 위해 신선도 탐색과 인간 지도 선택을 결합한 새로운 상호작용 진화 계산(NA-IEC)을 제안한다. 사용자가 유망하고 목적 외의 행동을 선택한 후 이를 기반으로 새로운 후손을 생성함으로써, 순수한 신선도 탐색이나 목적 기반 진화보다 더 빠른 수렴 속도와 낮은 게놈 복잡도를 달성한다.

ABSTRACT

The field of evolutionary computation is inspired by the achievements of natural evolution, in which there is no final objective. Yet the pursuit of objectives is ubiquitous in simulated evolution. A significant problem is that objective approaches assume that intermediate stepping stones will increasingly resemble the final objective when in fact they often do not. The consequence is that while solutions may exist, searching for such objectives may not discover them. This paper highlights the importance of leveraging human insight during search as an alternative to articulating explicit objectives. In particular, a new approach called novelty-assisted interactive evolutionary computation (NA-IEC) combines human intuition with novelty search for the first time to facilitate the serendipitous discovery of agent behaviors. In this approach, the human user directs evolution by selecting what is interesting from the on-screen population of behaviors. However, unlike in typical IEC, the user can now request that the next generation be filled with novel descendants. The experimental results demonstrate that combining human insight with novelty search finds solutions significantly faster and at lower genomic complexities than fully-automated processes, including pure novelty search, suggesting an important role for human users in the search for solutions.

연구 동기 및 목표

• 최종 목표와 유사하지 않은 중간 해답이 처벌되는 목적 기반 진화 계산의 한계를 해결하기 위해, 특히 속임수적인 지형에서 탐색 실패가 발생하는 문제를 해결한다.
• 사람의 직관, 특히 목적 외의 유망한 단계적 행동을 식별하는 능력이 자동화된 적합도 함수보다 진화 탐색을 더 효과적으로 이끄는 데 활용될 수 있는지 탐구한다.
• 다양한 행동을 생성하는 신선도 탐색과 의미 있는 진전을 식별하는 인간 선택을 조합함으로써, 순수하게 자동화된 접근이나 순수하게 상호작용적인 접근보다 우월한 성능을 낼 수 있는지 조사한다.
• 대부분의 탐색 과정을 자동화하면서도 '유망한' 행동이 무엇인지에 대한 인간의 통찰력을 유지함으로써 사용자 부담을 줄인다.
• 목적이 없는 인간 지도 탐색이 전통적인 목적 기반 또는 순수하게 신선도 기반 방법에 비해 속도, 해답 품질, 게놈 복잡도 측면에서 뛰어난 성과를 낼 수 있음을 입증한다.

제안 방법

• NA-IEC는 다양한 새로운 행동을 생성함으로써 탐색 공간의 미개척 영역을 보장하는 방식으로 신선도 탐색을 통합한다.
• 사용자들이 진화된 에이전트 집단에서 흥미롭거나 유망한 행동을 상호작용적으로 선택함으로써, 공식적인 적합도 함수를 정의하지 않고도 암묵적인 지시를 제공한다.
• 선택된 행동들은 다음 세대의 후손을 생성하기 위한 시드로 사용되며, 이는 계속되는 다양성과 탐색을 보장한다.
• 경우의 수치적 특성(예: 경로의 매끄러움, 구조적 일관성, 향후 발전 가능성 등)을 인간의 인식에 의존함으로써 명시적인 목표를 회피한다.
• 사용자 평가와 자동화된 신선도 기반 생성을 번갈아가며 반복함으로써, 직관적으로 중요한 것으로 간주되는 행동을 우선시하는 피드백 루프를 형성한다.
• 해결책의 단순성과 효율성, 일반화 능력 및 과적합 정도를 평가하기 위해 게놈 복잡도를 측정한다.

실험 결과

연구 질문

• RQ1 사람의 직관이 목적 외의 유망한 단계적 행동을 식별하는 데 있어 순수 자동화된 방법에 비해 진화 탐색을 크게 가속화할 수 있는가?
• RQ2 신선도 탐색과 상호작용 선택을 조합함으로써 순수한 신선도 탐색이나 목적 기반 진화에 비해 더 빠른 수렴 속도와 낮은 게놈 복잡도를 달성할 수 있는가?
• RQ3 특히 속임수적이거나 복잡한 탐색 공간에서, 형식적인 적합도 함수를 명시하지 않고도 사용자가 진화를 효과적으로 이끌 수 있는 정도는 어느 정도인가?
• RQ4 사람의 인식과 자동화된 신선도 생성 간의 상호보완적 상호작용이 어떻게 더 복잡한 행동의 우연한 발견을 향상시키는가?
• RQ5 도메인 특화 적합도 함수의 수작업 설계가 시간이 많이 소요되는 문제를 줄일 수 있을까? 이와 동시에 해답 품질을 유지하거나 향상시킬 수 있는가?

주요 결과

• NA-IEC는 순수한 신선도 탐색과 목적 기반 진화보다도 목표 행동에 도달하기 위해 필요한 세대 수를 크게 줄여 더 빠르게 해답을 발견했다.
• 목적 기반 방법으로 발견된 해답에 비해 NA-IEC로 발견된 해답은 더 낮은 게놈 복잡도를 보였으며, 이는 더 효율적이고 잠재적으로 일반화 능력이 뛰어난 표현 방식을 의미한다.
• 사용자들은 단지 수십 번의 선택에 걸쳐 최대 10분 이내로도 매우 낮은 정신적 부담과 높은 효율성으로 탐색을 효과적으로 이끌 수 있었다.
• 이전에 진화된 고도로 복잡한 행동들(예: Picbreeder에서의 나비와 뼈마디 이미지)을 성공적으로 복원했으며, 동일한 행동을 자동화된 목표로 사용할 경우 재진화가 불가능했던 점을 감안할 때 놀라운 성과를 보였다.
• 목적이 사전에 알려져 있음에도 불구하고, NA-IEC는 순수한 신선도 탐색과 목적 기반 탐색을 모두 능가하는 수렴 속도와 해답 품질을 보였다.
• 신선도 함수가 목적 외의 중간 상태를 처벌하지 않기 때문에, 특히 최종 목표에 도달하는 데 필수적인 중간 상태를 기각하는 문제를 완화함으로써 진화 탐색의 속임수 문제를 효과적으로 해결했다.