[论文解读] Evolutionary Architecture Search For Deep Multitask Networks

Jason Liang, Elliot Meyerson+1 more|arXiv (Cornell University)|Mar 10, 2018

Evolutionary Algorithms and Applications参考文献 45被引用 8

一句话总结

本文提出了一种用于深度多任务神经网络的进化架构搜索框架，结合了进化生成的任务特定路由拓扑与共享的、进化生成的模块。通过共同进化模块架构与路由结构，该方法在Omniglot多字母识别基准上实现了最先进性能（88%准确率），显著优于先前方法，包括软排序方法。

ABSTRACT

Multitask learning, i.e. learning several tasks at once with the same neural network, can improve performance in each of the tasks. Designing deep neural network architectures for multitask learning is a challenge: There are many ways to tie the tasks together, and the design choices matter. The size and complexity of this problem exceeds human design ability, making it a compelling domain for evolutionary optimization. Using the existing state of the art soft ordering architecture as the starting point, methods for evolving the modules of this architecture and for evolving the overall topology or routing between modules are evaluated in this paper. A synergetic approach of evolving custom routings with evolved, shared modules for each task is found to be very powerful, significantly improving the state of the art in the Omniglot multitask, multialphabet character recognition domain. This result demonstrates how evolution can be instrumental in advancing deep neural network and complex system design in general.

研究动机与目标

• 为解决设计最优深度多任务网络架构的挑战，该挑战过于复杂，难以通过人工设计完成。
• 探索进化算法是否能有效优化多任务网络中的模块设计与模块间路由。
• 通过发现共享模块与任务特定路由拓扑之间的协同组合，提升多任务学习性能。
• 评估共同进化架构组件（模块与拓扑）对多任务学习性能的影响。

提出的方法

• 使用进化算法在多任务学习设置中共同进化共享模块的架构与它们之间的路由拓扑。
• 提出一种新算法，用于进化任务特定的路由路径，以确定每个任务的模块序列与组合方式。
• 该方法扩展了软排序架构，允许通过神经进化同时优化路由与模块设计。
• 演化一种跨所有任务共享的蓝图路由，同时演化通用模块，以超越固定路由策略的性能。
• 共同进化过程采用两层进化循环：外层进化路由拓扑，内层进化模块架构。
• 该方法利用基于NEAT的神经进化（CoDeepNEAT）以保持多样性，并发现有效且任务特定的模块与拓扑组合。

实验结果

研究问题

• RQ1 进化算法能否有效优化深度多任务网络中的模块架构与路由拓扑？
• RQ2 将任务特定的路由与共享的进化模块共同进化，是否能带来优于固定路由或单一组件优化的性能提升？
• RQ3 所进化出的模块设计与路由拓扑与人工设计或标准架构（如软排序）相比如何？
• RQ4 在所进化架构中，跨任务共享模块权重在多大程度上提升了性能？
• RQ5 进化过程能否在多任务设置中发现有意义的结构模式，例如相似字母对应相似拓扑？

主要发现

• 所提出的模块与拓扑共同进化方法（CMTR）在Omniglot基准上实现了88%的准确率，显著优于软排序基线（67%）及其他变体。
• 所进化出的模块表现出系统性多样性，部分简单，部分复杂，且以非均匀方式在不同任务中复用。
• 相似字母（如Gurmukhi与Marathi）进化出相似的路由拓扑，表明进化过程发现了有意义的结构关联。
• 共同进化模块与拓扑比单独优化任一组件更有效，证明了两者之间的协同效应。
• 进化过程在多次运行中一致发现同一字母的相似拓扑，表明搜索过程具有鲁棒性与收敛性。
• 结果证实，跨任务共享模块权重对性能至关重要，因为它使共享表征能够整合任务需求。