[논문 리뷰] Modular Universal Reparameterization: Deep Multi-task Learning Across Diverse Domains

Elliot Meyerson, Risto Miikkulainen|arXiv (Cornell University)|2019. 05. 31.

Domain Adaptation and Few-Shot Learning인용 수 12

한 줄 요약

이 논문은 시각, 자연어 처리(NLP), 유전체학 모델 등 다양한 딥러닝 아키텍처 간에 학습된 기능을 공유하기 위해 작업을 의사작업들로 분해하고, 이를 공유 가능한 재사용 가능한 구성 요소로 매핑하는 모듈형 초네트워크를 최적화하는 Modular Universal Reparameterization(MUiR)를 소개한다. MUiR는 평가된 모든 작업에서 최신 기술 수준의 성능을 달성하며, 아키텍처적 공통점이 없더라도 상호 아키텍처 간 지식 공유가 효과적임을 입증한다.

ABSTRACT

As deep learning applications continue to become more diverse, an interesting question arises: Can general problem solving arise from jointly learning several such diverse tasks? To approach this question, deep multi-task learning is extended in this paper to the setting where there is no obvious overlap between task architectures. The idea is that any set of (architecture,task) pairs can be decomposed into a set of potentially related subproblems, whose sharing is optimized by an efficient stochastic algorithm. The approach is first validated in a classic synthetic multi-task learning benchmark, and then applied to sharing across disparate architectures for vision, NLP, and genomics tasks. It discovers regularities across these domains, encodes them into sharable modules, and combines these modules systematically to improve performance in the individual tasks. The results confirm that sharing learned functionality across diverse domains and architectures is indeed beneficial, thus establishing a key ingredient for general problem solving in the future.

연구 동기 및 목표

• 시각, NLP, 유전체학 작업과 같이 아키텍처적 공통점이 없는 딥러닝 모델 간에 효과적인 지식 공유를 가능하게 하기 위해.
• 기존의 다중 작업 학습 방법이 사전에 정렬된 파라미터가 없어 실패하는 다양한 아키텍처 간의 파라미터 정렬 문제를 해결하기 위해.
• 일반적인 의사작업으로의 분해를 통해 다양한 도메인 간 암묵적인 규칙성을 발견하고 활용할 수 있는 프레임워크를 개발하기 위해.
• MUiR를 통해 훈련된 공유 모듈이 도메인 간 일반화되어 개별 작업에서 성능 향상을 이끌 수 있음을 검증하기 위해.
• 다양한 문제 유형 간 모듈형이고 재사용 가능한 지식 이동을 가능하게 하여 인공지능의 일반 문제 해결 기반을 마련하기 위해.

제안 방법

• 구조적 공유를 가능하게 하기 위해 각 (아키텍처, 작업) 쌍을 세밀하고 크기가 동일한 의사작업 집합으로 분해한다.
• 의사작업과 아키텍처에서 유도된 컨텍스트 벡터를 기반으로 작업별로 다른 파라미터를 생성하는 초네트워크(hypermodule)를 도입한다.
• 의사작업과 모듈 간 매핑을 최적화하기 위해 초모듈과 작업별 모델을 동시에 훈련하는 확률적 최적화 알고리즘(1+λ-ES)을 사용한다.
• 모듈이 특정 작업이나 아키텍처에 편향되지 않도록 보장하는 새로운 초기화 전략(분리된 초기화)을 적용하여 일반화 성능을 향상시킨다.
• 초모듈 내에서 위치 기반 컨텍스트를 허용하기 위해 컨텍스트 크기 하이퍼파rameter $ c $ 를 적용한다.
• 공유 초모듈이 여러 의사작업을 해결하도록 훈련하는 모듈형 재매개변수화 기법을 사용하며, 성능은 최종 작업 메트릭을 통해 평가한다.

실험 결과

연구 질문

• RQ1 CNN, LSTM, 1D-CNN와 같이 아키텍처적 공통점이 없는 딥러닝 모델 간에 학습된 기능을 효과적으로 공유할 수 있는가?
• RQ2 작업을 의사작업으로 일반화된 분해를 통해 다양한 도메인 간 효과적이고 확장 가능한 지식 이동이 가능한가?
• RQ3 초기화 전략의 선택이 상호 아키텍처 학습에서 공유 모듈의 성능과 일반화에 어떤 영향을 미치는가?
• RQ4 초모듈 내 컨텍스트 크기가 다양한 작업 간 파라미터 공유의 효과성에 어떤 영향을 미치는가?
• RQ5 실제로 고도로 최적화된 모델인 AWD-LSTM과 같은 실제 응용 환경에 MUiR를 적용했을 때 기존의 다중 작업 학습 베이스라인을 초월할 수 있는가?

주요 결과

• MUiR는 모든 작업에서 전통적인 다중 작업 학습 및 어댑터 기반 방법을 능가하며, LeNet에서 20.51의 테스트 오차, Stacked LSTM에서 130.70의 퍼플렉서티, DeepBind에서 0.1464의 AUC를 기록했다.
• 원래 AWD-LSTM 베이스라인과 동일한 성능을 유지하면서 LSTM 파라미터 수를 19.8M에서 8.8M로 줄여, 최적화된 환경에서도 효율적인 파라미터 공유가 가능함을 입증했다.
• 계층적 초기화 전략을 사용하면 표준 베이스라인 대비 성능 향상이 가능하지만, MUiR의 분리된 초기화 전략에 비해 열등한 성능을 보여, 제안된 훈련 방식의 가치를 확인했다.
• 컨텍스트 크기 $ c > 0 $ 인 초모듈은 $ c = 0 $ 인 경우보다 유의미하게 뛰어난 성능을 보이며, 위치 기반 컨텍스트가 효과적인 공유를 위해 필수적임을 입증했다.
• 프레임워크는 아키텍처에 따라 달라지는 공유 동역학을 가능하게 하며, 자주 공유되는 모듈일수록 더 높은 일반화 성질을 보였다.
• MUiR는 시각, NLP, 유전체학 작업 전반에서 최신 기술 수준의 성능을 달성하여, 도메인 간, 아키텍처 간 지식 공유가 실현 가능하고 유익함을 확인했다.