[논문 리뷰] MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning

Yuan Gao, Haoping Bai외 4명|arXiv (Cornell University)|2020. 03. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 72인용 수 9

한 줄 요약

MTL-NAS는 계층적이고 단계별로 특징을 융합하는 메커니즘과 작업별 백본을 분리함으로써 일반 목적의 다중 작업 학습(GP-MTL)을 위한 작업에 관계없는 신경망 아키텍처 탐색 프레임워크를 제안한다. 이는 작업 간 연결에 대한 통합된 검색 공간과 최소 엔트로피 정규화를 적용한 단일 스타일 기반 검색을 도입하여 재학습 없이도 직접 검색된 아키텍처를 배치할 수 있게 하며, 다양한 작업 세트와 백본에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose to incorporate neural architecture search (NAS) into general-purpose multi-task learning (GP-MTL). Existing NAS methods typically define different search spaces according to different tasks. In order to adapt to different task combinations (i.e., task sets), we disentangle the GP-MTL networks into single-task backbones (optionally encode the task priors), and a hierarchical and layerwise features sharing/fusing scheme across them. This enables us to design a novel and general task-agnostic search space, which inserts cross-task edges (i.e., feature fusion connections) into fixed single-task network backbones. Moreover, we also propose a novel single-shot gradient-based search algorithm that closes the performance gap between the searched architectures and the final evaluation architecture. This is realized with a minimum entropy regularization on the architecture weights during the search phase, which makes the architecture weights converge to near-discrete values and therefore achieves a single model. As a result, our searched model can be directly used for evaluation without (re-)training from scratch. We perform extensive experiments using different single-task backbones on various task sets, demonstrating the promising performance obtained by exploiting the hierarchical and layerwise features, as well as the desirable generalizability to different i) task sets and ii) single-task backbones. The code of our paper is available at https://github.com/bhpfelix/MTLNAS.

연구 동기 및 목표

• 기존의 작업에 특화된 NAS 방법이 일반 목적의 다중 작업 학습(GP-MTL)과 호환되지 않는다는 한계를 해결하기 위해.
• GP-MTL에서 작업 전용 사전 지식을 특징 공유/융합 메커니즘에서 분리하여 통합된, 작업에 관계없는 검색 공간을 가능하게 하기 위해.
• 단일 스타일 NAS에서 검색 단계와 평가 단계 사이의 성능 격차를 줄이기 위해 아키텍처 가중치의 불확실성을 최소화하기 위해.
• 재학습 없이도 검색된 아키텍처를 직접 배치할 수 있도록 하여 효율성과 실용성을 향상시키기 위해.

제안 방법

• GP-MTL을 고정된, 작업에 특화된 단일 작업 백본과 이들 사이에서 계층적이고 단계별로 특징을 융합하는 일반적인 구조로 분리한다.
• 고정된 백본 레이어 간에 검색 가능한 작업 간 엣지(특징 융합 연결)를 삽입하여 작업에 관계없는 검색 공간을 정의한다.
• 아키텍처 가중치에 최소 엔트로피 정규화를 적용한 단일 스타일 기반 기울기 기반 검색 알고리즘을 제안하여 근사 이산 값으로 수렴하도록 유도한다.
• DARTS와 SNAS를 일반화하기 위해 통합된 프레임워크 내에서 결정론적 또는 확률론적 연속적 완화 및 이산화 구성 요소를 적용한다.
• 엔트로피 최소화를 통해 아키텍처 가중치의 불확실성을 줄여 검색 후 안정적이고 고성능의 이산 아키텍처를 확보한다.
• 재학습 없이도 검색된 아키텍처를 직접 평가할 수 있도록 하여 추론 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 다양한 조합의 작업을 지원할 수 있는 통합된, 작업에 관계없는 검색 공간을 다중 작업 학습을 위해 설계할 수 있는가?
• RQ2 단일 스타일 NAS에서 검색 단계와 최종 평가 사이의 성능 격차를 어떻게 줄일 수 있는가?
• RQ3 엔트로피 최소화가 재학습 없이도 근사 이산 해를 도출할 수 있도록 아키텍처 가중치를 효과적으로 정규화할 수 있는가?
• RQ4 제안된 방법이 GP-MTL에서 다양한 단일 작업 백본과 작업 세트에 대해 일반화되는가?
• RQ5 검색된 아키텍처를 재학습 없이 직접 평가에 배치할 수 있으며, 높은 성능를 유지하는가?

주요 결과

• 제안된 방법은 도로 표면 정규 벡터 예측 및 세그멘테이션 작업 세트에서 최신 기술 수준의 성능를 달성하며, Cityscapes 데이터셋에서 mIoU 88.2%와 PAcc 91.2%를 기록한다.
• 최소 엔트로피 정규화가 아키텍처 가중치를 효과적으로 정규화하여 대부분의 α 값이 0 또는 1로 수렴함을 보여주는 수렴한 α 값의 히스토그램에서 확인된다.
• 이 방법은 검색과 평가 사이의 성능 격차를 해소한다: 재학습 없이도 Cityscapes 데이터셋에서 평균 IoU 37.7%와 mIoU 67.9%를 달성한다.
• 결정론적 및 확률론적 구성 요소(완화 및 이산화)의 다양한 조합이 엔트로피 정규화 하에서 성능 차이가 거의 없음을 보여주며, 이는 방법의 강건성과 안정성을 시사한다.
• 학습된 아키텍처는 이질적이고 비대칭적이므로 수동으로 발견하기 어려운 것으로 나타나, 이는 복잡하고 효과적인 아키텍처를 탐색할 수 있음을 검증한다.
• 절단 분석을 통해 최소 엔트로피 정규화가 연속적 완화 및 이산화의 모든 구성에서 성능를 크게 향상시키며, DARTS와 SNAS를 모두 능가함을 확인한다.