[論文レビュー] Neuroevolution in Deep Learning: The Role of Neutrality

Edgar Galván|arXiv (Cornell University)|Feb 16, 2021

Evolutionary Algorithms and Applications参考文献 50被引用数 7

ひとこと要約

この論文は、深層ニューラルネットワーク（DNN）アーキテクチャ探索における神経進化における中立性の役割を調査し、表現型に影響を与えない選択的中立変異——つまり、変異が表現型に影響しないもの——が、不要なフィットネス評価を減らすことで進化的探索を加速させることを提案している。カルテシアン・ジェネティック・プログラミングのような表現における中立的遺伝的変異を活用することで、すべての変異を再評価することなくDNNアーキテクチャの効率的探索が可能となり、自動DNN設計における計算コストの低減が期待される。

ABSTRACT

A variety of methods have been applied to the architectural configuration and learning or training of artificial deep neural networks (DNN). These methods play a crucial role in the success or failure of the DNN for most problems and applications. Evolutionary Algorithms (EAs) are gaining momentum as a computationally feasible method for the automated optimisation of DNNs. Neuroevolution is a term which describes these processes of automated configuration and training of DNNs using EAs. However, the automatic design and/or training of these modern neural networks through evolutionary algorithms is computanalli expensive. Kimura's neutral theory of molecular evolution states that the majority of evolutionary changes at molecular level are the result of random fixation of selectively neutral mutations. A mutation from one gene to another is neutral if it does not affect the phenotype. This work discusses how neutrality, given certain conditions, can help to speed up the training/design of deep neural networks.

研究の動機と目的

• 進化的アルゴリズムにおける中立性が最適な深層ニューラルネットワークアーキテクチャの探索をどのように加速させるかを調査すること。
• 表現型に影響を与えない中立的変異——つまり、表現型に影響しない変異——がDNNにおける神経進化の効率に与える影響を検討すること。
• カルテシアン・ジェネティック・プログラミングのような中立的表現が、DNNアーキテクチャ探索における繰り返しのフィットネス評価の必要性をどのように低減できるかを調査すること。
• 中立性が深層学習における進化的探索を支援するか、あるいは妨げる条件を特定すること。
• 変異と選択のみを用いたシンプルな2値ベースの実験設定を提案することで、神経進化における中立性に関する今後の研究の基盤を提供すること。

提案手法

• DNNアーキテクチャ空間における進化的探索を模擬するために、変異と選択のみを遺伝的演算子として用いる2値遺伝子表現を用いる。
• カルテシアンGPにおける表現されない遺伝子（例：遺伝子5）のように、表現型DNNアーキテクチャを変化させない遺伝的変化を特定することで、中立の概念を適用する。
• 表現型のデコード機構を用いて遺伝子型を実際のDNNアーキテクチャにマッピングし、表現型の変化が生じた場合にのみフィットネス評価を実施する。
• カルテシアン・ジェネティック・プログラミングを用いることで、DNN表現における中立性を明示的にモデル化・測定する神経進化フレームワークを活用する。
• 中立的変異はフィットネス評価をスキップすることで、進化的DNN探索における計算コストの低減に活用可能であると提唱する。
• 中立性の影響を他の要因と分離するために、簡略化されたベンチマーク問題と表現を用いる。

実験結果

リサーチクエスチョン

• RQ1 遺伝子型に中立的変異が存在することで、神経進化におけるDNNのフィットネス評価回数が減少するか？
• RQ2 進化的表現における中立性が、効果的なDNNアーキテクチャ探索を加速する条件は何か？
• RQ3 中立性がDNNアーキテクチャ探索の文脈における選択と変異演算子の挙動にどのように影響を与えるか？
• RQ4 中立的遺伝的変異を、神経進化において体系的に特定・活用できるか？
• RQ5 中立性は、最終的なDNNアーキテクチャの品質を損なわせることなく、神経進化の収束を速めるか？

主な発見

• 進化的表現における中立性は、影響を与えない変異を探索中にスキップすることで、フィットネス評価回数を削減できる。
• 表現されない遺伝子——例えばカルテシアンGPの例における遺伝子5——が自然な中立性を生じさせ、これらの遺伝子における変異はDNNアーキテクチャを変化させない。
• 表現型の変化がまれな場合、中立性はフィットネス再評価を伴わずに遺伝子空間の長大な探索を可能にすることで、探索を加速させる可能性がある。
• 研究では、中立性が常に有益であるとは限らず、問題クラス、表現形式、および使用される遺伝的演算子に依存することを同定した。
• 著者らは、カルテシアンGPのような表現に中立性を明示的に組み込むことで、DNNアーキテクチャ探索における効率的探索を促進できると提唱している。
• 本論文は、計算コスト低減の理論的潜在能力があるにもかかわらず、DNN向け神経進化分野では中立性を体系的かつ包括的に研究した先行研究が存在しないという研究ギャップを強調している。