[論文レビュー] Exploring Promising Stepping Stones by Combining Novelty Search with Interactive Evolution

Brian G. Woolley, Kenneth O. Stanley|arXiv (Cornell University)|Jul 28, 2012

Evolutionary Algorithms and Applications参考文献 25被引用数 10

ひとこと要約

本稿では、複雑なエージェント行動の発見を加速するために、ノベルティ検索と人間主導の選択を組み合わせた新規性支援型インタラクティブ進化計算（NA-IEC）を提案する。ユーザーが有望な非目的行動を選択し、それらから新たな後代を生成することで、純粋なノベルティ検索や目的ベースの進化に比べ、より速い収束と低いゲノム的複雑性を達成する。

ABSTRACT

The field of evolutionary computation is inspired by the achievements of natural evolution, in which there is no final objective. Yet the pursuit of objectives is ubiquitous in simulated evolution. A significant problem is that objective approaches assume that intermediate stepping stones will increasingly resemble the final objective when in fact they often do not. The consequence is that while solutions may exist, searching for such objectives may not discover them. This paper highlights the importance of leveraging human insight during search as an alternative to articulating explicit objectives. In particular, a new approach called novelty-assisted interactive evolutionary computation (NA-IEC) combines human intuition with novelty search for the first time to facilitate the serendipitous discovery of agent behaviors. In this approach, the human user directs evolution by selecting what is interesting from the on-screen population of behaviors. However, unlike in typical IEC, the user can now request that the next generation be filled with novel descendants. The experimental results demonstrate that combining human insight with novelty search finds solutions significantly faster and at lower genomic complexities than fully-automated processes, including pure novelty search, suggesting an important role for human users in the search for solutions.

研究の動機と目的

• 目的ベースの進化計算の限界に対処する。特に、最終的な目標と類似しない中間解が罰せられるため、曖昧な探索空間では探索が失敗する。
• 人間の直感（特に、非目的的だが有望な段階的ステップの特定）が、自動化されたフィットネス関数に比べ、進化探索をより効果的に導けるかどうかを検討する。
• ノベルティ検索（多様な行動を生成）と人間による選択（意味のある進捗を特定）を組み合わせることで、完全に自動化された手法や完全にインタラクティブな手法を上回る性能が得られるかどうかを調査する。
• 人間の洞察が「有望な行動」としての特徴を識別するという役割を果たしつつも、大部分の探索プロセスを自動化することで、人間ユーザーの負担を軽減する。
• 従来の目的駆動型または完全にノベルティベースの手法と比較して、速度、解の質、ゲノム的複雑性の観点で優れた結果を達成できるかどうかを実証する。

提案手法

• NA-IECはノベルティ検索を用いて、多様で新規な行動を生成し、探索空間の未開拓領域を網羅的に探索する。
• 人間のユーザーが進化したエージェントの集団の中から、興味深いまたは有望だと感じる行動を選択し、明示的なフィットネス関数を定義せずに、間接的なガイダンスを提供する。
• 選択された行動は、次世代の後代を生成するための種として用いられ、ノベルティ検索によって継続的な多様性と探索が保証される。
• 明示的な目的を避けるために、経路の滑らかさ、構造的整合性、さらなる発展の可能性といった、定性的な特徴の人の主観的認識に依存する。
• 人間による評価と自動的なノベルティ駆動生成を交互に繰り返すことで、直感的に有意義とされる行動を優先するフィードバックループを構築する。
• ゲノム的複雑性を測定することで、解がより単純で効率的な表現で得られているかどうかを評価し、一般化性能の向上や過学習の低減を示す。

実験結果

リサーチクエスチョン

• RQ1 非目的的で有望な段階的ステップを人間の直感で特定する能力が、完全に自動化された手法と比較して、進化探索の加速に顕著に寄与するか。
• RQ2 ノベルティ検索とインタラクティブ選択を組み合わせることで、純粋なノベルティ検索や目的ベースの進化に比べ、収束速度が速く、ゲノム的複雑性が低い結果が得られるか。
• RQ3 特に曖昧な空間や複雑な探索空間において、明示的なフィットネス関数を定義せずとも、人間ユーザーが効果的に進化を導ける程度はどの程度か。
• RQ4 人間の知覚と自動化されたノベルティ生成の相乗効果が、複雑な行動の偶然的発見をどのように向上させるか。
• RQ5 ドメイン特化のフィットネス関数の手作業設計に費やす時間が長引くのを防ぎつつ、解の質を維持または向上できるか。

主な発見

• NA-IECは、純粋なノベルティ検索や目的ベースの進化に比べ、ターゲット行動に到達するまでの世代数を著しく削減し、解をより速く発見した。
• NA-IECで発見された解は、目的ベースの手法で得られた解よりもゲノム的複雑性が低く、より効率的で、一般化可能な表現である可能性を示している。
• ユーザーはわずかな作業量（数十回の選択で最大10分程度）で効果的に探索を導けた。これは認知的負荷が低く、高い効率性を示している。
• 本手法は、同じ行動を自動的フィットネス関数として用いた場合に再現できなかった、以前に進化した高次元の複雑な行動（例：Picbreederの「バタフライ」と「スカル」の画像）を正常に回復できた。
• 目的が事前に分かっていても、NA-IECは純粋なノベルティ検索や目的ベースの探索を上回り、収束速度と解の質の両面で優れた性能を示した。
• 本手法は、中間状態が非目的である場合に罰せられるフィットネス関数を避けることで、最終的な目標に到達する上で不可欠な状態を無視する問題（欺瞞的探索空間の問題）を緩和した。