[논문 리뷰] AutoMTL: A Programming Framework for Automating Efficient Multi-Task Learning

Lijun Zhang, Xiao Liu외 1명|arXiv (Cornell University)|2021. 10. 25.

Advanced Neural Network Applications인용 수 5

한 줄 요약

AutoMTL는 백본 CNN를 연산자 수준의 파라미터 공유를 통해 다중 작업 슈퍼모델로 컴파일함으로써 효율적인 다중 작업 학습(MTL)을 자동화하는 프로그래밍 프레임워크이다. 기울기 기반 아키텍처 탐색과 정규화를 사용하여 높은 작업 정확도와 낮은 메모리 사용량을 동시에 최적화하며, CityScapes, NYUv2 및 Tiny-Taskonomy 벤치마크에서 최신 기법들을 능가한다.

ABSTRACT

Multi-task learning (MTL) jointly learns a set of tasks by sharing parameters among tasks. It is a promising approach for reducing storage costs while improving task accuracy for many computer vision tasks. The effective adoption of MTL faces two main challenges. The first challenge is to determine what parameters to share across tasks to optimize for both memory efficiency and task accuracy. The second challenge is to automatically apply MTL algorithms to an arbitrary CNN backbone without requiring time-consuming manual re-implementation and significant domain expertise. This paper addresses the challenges by developing the first programming framework AutoMTL that automates efficient MTL model development for vision tasks. AutoMTL takes as inputs an arbitrary backbone convolutional neural network (CNN) and a set of tasks to learn, and automatically produces a multi-task model that achieves high accuracy and small memory footprint simultaneously. Experiments on three popular MTL benchmarks (CityScapes, NYUv2, Tiny-Taskonomy) demonstrate the effectiveness of AutoMTL over state-of-the-art approaches as well as the generalizability of AutoMTL across CNNs. AutoMTL is open-sourced and available at https://github.com/zhanglijun95/AutoMTL.

연구 동기 및 목표

• 모델 크기와 작업 정확도를 균형 잡는 자원 효율적인 MTL 아키텍처 설계의 과제를 해결하기 위해.
• 백본 네트워크를 변경할 때마다 MTL 알고리즘을 수동 재구현할 필요를 제거하기 위해.
• 딥러닝 전문 지식이 없는 일반 프로그래머와 실무자도 쉽게 MTL을 활용할 수 있도록 하기 위해.
• 분리된 자동 컴파일 파이프라인을 통해 임의의 CNN 백본을 지원하기 위해.
• 작업 복잡도와 간섭에 따라 적응 가능한 민첩한, 확장 가능한 아키텍처 탐색 공간을 제공하기 위해.

제안 방법

• 다중 작업 슈퍼모델 컴파일러(MTS-Compiler)는 각 연산자를 기본 단위로 삼아 파라미터 공유를 수행함으로써 사용자가 제공한 CNN 백본을 다중 작업 슈퍼모델로 변환한다.
• 가변적인 아키텍처 탐색 공간은 가상 계산 노드(Virtual Computation Nodes)를 사용해 표현되며, 이는 작업 요구에 따라 동적으로 모델 용량을 조정할 수 있도록 한다.
• 기울기 가능 아키텍처 탐색을 갖춘 정책 네트워크가 최적의 공유 패턴을 결정하기 위해 훈련되며, 파라미터 공유를 제어하기 위해 정규화 손실을 사용한다.
• 정규화 하이퍼파rameter λreg는 모델의 압축성과 작업 성능 사이의 트레이드오프를 제어한다.
• 재구현이 필요 없이 임의의 CNN 백본을 지원하며, 소스 투 소스 컴파일링 접근법을 활용한다.
• 이 방법은 PyTorch API를 통해 구현되어 있어 원활한 통합과 0.6초 이내의 자동 슈퍼모델 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 임의의 CNN 백본에서 수동 재구현 없이도 다중 작업 학습 모델 개발을 자동화할 수 있는 프로그래밍 프레임워크는 가능한가?
• RQ2 연산자 수준의 파라미터 공유가 층 수준 공유보다 모델 크기와 작업 정확도 사이의 더 나은 트레이드오프를 가능하게 하는가?
• RQ3 컴파일러 기반 슈퍼모델 변환은 아키텍처 탐색을 백본 설계에서 분리하여 접근성을 향상시킬 수 있는가?
• RQ4 가변적인 아키텍처 탐색 공간은 다양한 벤치마크와 백본 모델에서 어떻게 성능을 발휘하는가?
• RQ5 정규화 하이퍼파rameter인 λreg는 학습된 다중 작업 모델에서 정확도-압축성 트레이드오프를 얼마나 잘 제어할 수 있는가?

주요 결과

• CityScapes에서 MNasNet를 사용할 경우 AutoMTL는 단일 작업 기반 모델 대비 +17.1%와 +13.2%의 상대적 정확도 향상을 기록했으며, 파라미터 수는 35.9% 줄였다.
• CityScapes에서 AutoMTL는 단일 작업 기반 모델 대비 33.5% 적은 파라미터를 사용하면서 MobileNetV2 대비 7.4% 상대적 성능 향상을 달성했다.
• λreg = 0.0005일 때 AutoMTL는 모델 파라미터를 0.018M(기준 대비 33%)로 줄였고, 70.0% mIoU, 86.6% 깊이 정확도, 93.4% 표면 법선 정확도를 유지했다.
• 정책 시각화 결과, 세분화 작업은 깊이 추정보다 더 많은 연산자를 공유했으며, 깊이 추정에서는 스킵 연결이 많이 사용된 것으로 나타나, 작업에 따라 다른 압축성 선호도가 있음을 보여주었다.
• MTS-Compiler는 어떤 백본 CNN도 약 0.6초 내에 슈퍼모델로 컴파일했고, 전문가가 최신 NAS 기반 MTL 방법(Adashare)을 재구현하는 데에는 20~40시간이 소요되었다.
• AutoMTL는 CityScapes, NYUv2 및 Tiny-Taskonomy에서 MobileNetV2, MNasNet 및 ResNet-18에서 효과적으로 일반화되어 광범위한 적용 가능성을 입증했다.