[논문 리뷰] Evolutionary Architecture Search For Deep Multitask Networks

Jason Liang, Elliot Meyerson외 1명|arXiv (Cornell University)|2018. 03. 10.

Evolutionary Algorithms and Applications참고 문헌 45인용 수 8

한 줄 요약

이 논문은 깊이 있는 다중작업 신경망을 위한 진화적 아키텍처 탐색 프레임워크를 제안하며, 작업별로 특화된 라우팅 구조와 공유된 진화된 모듈을 결합한다. 모듈 아키텍처와 라우팅 구조를 동시에 진화시킴으로써, 오미니글랏 다중알파벳 인식 벤치마크에서 최신 기술 수준의 성능(88% 정확도)을 달성하여 이전의 접근 방식들, 특히 소프트 오더링을 크게 뛰어넘는다.

ABSTRACT

Multitask learning, i.e. learning several tasks at once with the same neural network, can improve performance in each of the tasks. Designing deep neural network architectures for multitask learning is a challenge: There are many ways to tie the tasks together, and the design choices matter. The size and complexity of this problem exceeds human design ability, making it a compelling domain for evolutionary optimization. Using the existing state of the art soft ordering architecture as the starting point, methods for evolving the modules of this architecture and for evolving the overall topology or routing between modules are evaluated in this paper. A synergetic approach of evolving custom routings with evolved, shared modules for each task is found to be very powerful, significantly improving the state of the art in the Omniglot multitask, multialphabet character recognition domain. This result demonstrates how evolution can be instrumental in advancing deep neural network and complex system design in general.

연구 동기 및 목표

• 수동 설계에 비해 너무나 복잡하여 설계가 어려운 최적의 깊이 있는 다중작업 네트워크 아키텍처를 설계하는 데 도전한다.
• 진화 알고리즘이 다중작업 네트워크에서 모듈 설계와 모듈 간 라우팅 구조를 효과적으로 최적화할 수 있는지 탐색한다.
• 공유 모듈과 작업별로 특화된 라우팅 구조의 상호보완적인 조합을 발견함으로써 다중작업 학습 성능을 향상시킨다.
• 모듈과 구조의 아키텍처 구성 요소를 동시에 진화시키는 것이 다중작업 학습 성능에 미치는 영향을 평가한다.

제안 방법

• 다중작업 학습 환경에서 공유 모듈의 아키텍처와 그들 사이의 라우팅 구조를 동시에 진화시키기 위해 진화 알고리즘을 사용한다.
• 각 작업에 대해 모듈의 순서와 조합을 결정하는 작업별로 특화된 라우팅 경로를 새롭게 진화시키는 알고리즘을 제안한다.
• 모듈 설계와 라우팅 모두를 신경진화를 통해 최적화할 수 있도록 소프트 오더링 아키텍처를 확장한다.
• 모든 작업에 공통으로 사용되는 블루프린트 라우팅을 일반 목적의 모듈과 함께 진화시켜 고정된 라우팅 전략보다 성능을 향상시킨다.
• 두 수준의 진화 루프를 사용하는 공진화 과정을 적용한다: 외부 루프는 라우팅 구조를 진화시키고, 내부 루프는 모듈 아키텍처를 진화시킨다.
• 다양성을 유지하고 효과적인 작업별 모듈 및 구조 조합을 발견하기 위해 NEAT 기반 신경진화(CoDeepNEAT)를 활용한다.

실험 결과

연구 질문

• RQ1 진화 알고리즘이 깊이 있는 다중작업 네트워크에서 모듈 아키텍처와 라우팅 구조를 효과적으로 최적화할 수 있는가?
• RQ2 공유된 진화된 모듈과 작업별로 특화된 라우팅을 동시에 진화시키는 것이 고정된 라우팅이나 단일 구성 요소 최적화보다 더 나은 성능을 내는가?
• RQ3 진화된 모듈 설계와 라우팅 구조는 수작업으로 설계된 또는 표준 아키텍처(예: 소프트 오더링)와 비교해 어떻게 다른가?
• RQ4 작업 간 모듈 가중치를 공유함으로써 진화된 아키텍처에서 성능 향상에 얼마나 기여하는가?
• RQ5 다중작업 환경에서 유사한 알파벳에 대해 유사한 구조적 패턴(예: 유사한 라우팅 구조)을 진화 과정이 발견할 수 있는가?

주요 결과

• 제안된 모듈과 구조의 공진화(CMTR)는 오미니글랏 벤치마크에서 88%의 정확도를 달성하여 소프트 오더링 기준선(67%)과 다른 변종들보다 뚜렷이 뛰어나다.
• 진화된 모듈은 체계적인 다양성을 보였으며, 일부는 단순하고 일부는 복잡했고, 이는 비균일한 방식으로 다양한 작업 간에 재사용되었다.
• 유사한 알파벳(예: 구르무크히와 마라티)은 비슷한 라우팅 구조를 진화시켰으며, 이는 진화 과정이 의미 있는 구조적 상관관계를 발견했음을 시사한다.
• 모듈과 구조를 동시에 진화시키는 것이 각각을 별도로 최적화하는 것보다 더 효과적이었으며, 두 구성 요소 간의 상호보완성이 입증되었다.
• 동일한 알파벳에 대해 다수의 실행에서 유사한 라우팅 구조를 일관되게 발견함으로써, 검색 과정의 강건성과 수렴성을 확인할 수 있었다.
• 결과는 작업 간에 모듈 가중치를 공유하는 것이 성능 향상에 필수적임을 확인하였으며, 이는 공유 표현에서 작업 요구사항을 통합할 수 있음을 의미한다.