[論文レビュー] The Case for a Mixed-Initiative Collaborative Neuroevolution Approach

Sebastian Risi, Jinhong Zhang+5 more|arXiv (Cornell University)|Aug 5, 2014

Advanced Memory and Neural Computing参考文献 16被引用数 3

ひとこと要約

本論文は、人間の直感と計算的進化を統合することで、複雑な人工ニューラルネットワーク（ANN）を設計するためのミックスド・イニシアチブ共同ニューロエボリューションフレームワークを提案する。CPPN-コンパイラーを用いて人間が提供する構造的規則性（例：対称性、繰り返し）を符号化することで、ユーザーが進化させたネットワークと直接ネットワークトポロジーを交互に選択・編集できるシームレスな協働が可能となり、ANN構築における設計効率と創造性が著しく向上する。

ABSTRACT

It is clear that the current attempts at using algorithms to create artificial neural networks have had mixed success at best when it comes to creating large networks and/or complex behavior. This should not be unexpected, as creating an artificial brain is essentially a design problem. Human design ingenuity still surpasses computational design for most tasks in most domains, including architecture, game design, and authoring literary fiction. This leads us to ask which the best way is to combine human and machine design capacities when it comes to designing artificial brains. Both of them have their strengths and weaknesses; for example, humans are much too slow to manually specify thousands of neurons, let alone the billions of neurons that go into a human brain, but on the other hand they can rely on a vast repository of common-sense understanding and design heuristics that can help them perform a much better guided search in design space than an algorithm. Therefore, in this paper we argue for a mixed-initiative approach for collaborative online brain building and present first results towards this goal.

研究の動機と目的

• 大規模で複雑なANNの設計における完全にアルゴリズム的なニューロエボリューションの限界を克服するため、人間の設計洞察を統合すること。
• 進化計算における偽のフィットネスランドスケープや探索空間の爆発的増大という課題を、人間がガイドするインタラクティブな進化によって克服すること。
• 人間と機械が交互に主導権を握る共同フレームワークを構築し、相補的な強みを活かすこと。
• 人間がアノテートした構造的規則性（例：対称性）が、CPPN-コンパイラーを介してどのように符号化され、意味のあるネットワーク変異に発展するかを調査すること。
• インタラクティブな選択と直接設計編集を両立するハイブリッドシステムを用いて、スケーラブルでオンラインの共同脳設計を可能にすること。

提案手法

• 複雑なANNトポロジーを効率的に符号化するためのコンパクトで生成的 genotype 表現として、合成パターン生成ネットワーク（CPPN）を用いる。
• 高レベルの人間によるアノテーション（例：対称性、繰り返し）をCPPN genotype に変換するCPPN-コンパイラーを採用し、分野特異的な構造的規則性を埋め込む。
• ミックスド・イニシアチブのインタラクションをサポート：ユーザーは進化させたANNを選択するか、直接ネットワーク構造を編集するかを選べる。表現型の変更は再び genotype にコンパイルされる。
• 局所最適を回避し、選択タスクにおけるユーザーの疲労を軽減するため、新奇性探索とインタラクティブ進化計算（IEC）を統合する。
• BrainCrafterにおけるリアルタイムシミュレーションを活用し、ネットワーク設計中にロボットの行動を可視化することで、構造的変更に対する即時のフィードバックを提供する。
• ユーザーが他の人が作成した高得点のソリューションをもとに改善を加えることを可能にする、クラウドソーシングを活用した共同設計を実装する。

実験結果

リサーチクエスチョン

• RQ1 オンラインで協働する際、人間のユーザーは制御タスク用に複雑なANNを効果的に設計できるか。また、自然にどのような構造的パターンを特定するか。
• RQ2 人間が特定した規則性（例：対称性、繰り返し）は、進化させたANNの効率性と品質をどのように向上させるか。
• RQ3 CPPN-コンパイラーは、人間が提供する設計ヒューリスティクスを、意味のあるANNの変異にまで効果的に符号化・伝達できるか。
• RQ4 人間と機械の間で主導権を交互に譲り合うことで、ANN進化における複雑で偽のフィットネスランドスケープの探索がどの程度改善されるか。
• RQ5 ミックスド・イニシアチブ型システムは、完全に自動化されたまたは完全にインタラクティブなアプローチに比べ、大規模で行動的に複雑なANNの設計において顕著に優れた性能を示せるか。

主な発見

• 人間のユーザーは、複雑なANN設計に不可欠な構造的規則性（例：対称性、繰り返し）を識別し適用する強力な直感を示している。
• CPPN-コンパイラーを介した人間によるアノテートされた規則性の統合により、望ましいアーキテクチャモチーフを保持した意味的で多様性に富み、高パフォーマンスなネットワーク変異が生成可能となった。
• ミックスド・イニシアチブフレームワークにより、ユーザーは選択と直接編集をシームレスに切り替えられ、設計のコントロール感が向上し、認知的負荷が軽減された。
• BrainCrafterにおける共同設計により、ユーザーは高得点のソリューションを段階的に改善可能となり、複雑な行動への収束が加速した。
• CPPN-コンパイラーを用いることで、人間がガイドする構造的制約を伴う大規模なANNの表現と進化が実現可能であることが示された。
• 予備的な結果から、人間の洞察と計算的進化をミックスド・イニシアチブモデルで統合することで、偽のフィットネスランドスケープや高次元探索空間において、従来のニューロエボリューションの限界を克服できる可能性が示唆された。