[논문 리뷰] Task-Adaptive Neural Network Search with Meta-Contrastive Learning

Wonyong Jeong, Hayeon Lee외 4명|arXiv (Cornell University)|2021. 03. 02.

Advanced Neural Network Applications참고 문헌 67인용 수 5

한 줄 요약

이 논문은 주어진 타겟 데이터셋과 제약 조건(예: 파라미터 수)에 맞는 최적의 사전학습된 신경망을 다양한 모델 저자리에서 검색하는 새로운 프레임워크인 Task-Adaptive Neural Network Search (TANS)를 제안한다. 교차 모odal 잠재 공간에서 암시적 메타학습과 대비 손실을 사용하여, 데이터셋 임베딩을 고성능 신경망 임베딩과 정렬함으로써, 훈련 비용을 크게 줄인 채로 즉각적인 검색을 가능하게 한다. 이는 NAS 및 AutoML 기준선보다 뛰어난 성능을 보인다.

ABSTRACT

Most conventional Neural Architecture Search (NAS) approaches are limited in that they only generate architectures without searching for the optimal parameters. While some NAS methods handle this issue by utilizing a supernet trained on a large-scale dataset such as ImageNet, they may be suboptimal if the target tasks are highly dissimilar from the dataset the supernet is trained on. To address such limitations, we introduce a novel problem of \emph{Neural Network Search} (NNS), whose goal is to search for the optimal pretrained network for a novel dataset and constraints (e.g. number of parameters), from a model zoo. Then, we propose a novel framework to tackle the problem, namely \emph{Task-Adaptive Neural Network Search} (TANS). Given a model-zoo that consists of network pretrained on diverse datasets, we use a novel amortized meta-learning framework to learn a cross-modal latent space with contrastive loss, to maximize the similarity between a dataset and a high-performing network on it, and minimize the similarity between irrelevant dataset-network pairs. We validate the effectiveness and efficiency of our method on ten real-world datasets, against existing NAS/AutoML baselines. The results show that our method instantly retrieves networks that outperform models obtained with the baselines with significantly fewer training steps to reach the target performance, thus minimizing the total cost of obtaining a task-optimal network. Our code and the model-zoo are available at https://github.com/wyjeong/TANS.

연구 동기 및 목표

• 기존의 신경망 아키텍처 검색(NAS) 방법이 아키텍처 검색에만 국한되어 파라미터 최적화를 고려하지 않아 새로운 작업에서 높은 훈련 비용을 유발하는 데서 비롯되는 한계를 해결하기 위해.
• 목표 데이터셋이 소스 사전학습 데이터와 크게 다를 경우(예: 의료 또는 산업용 이미지) 슈퍼넷 기반 NAS의 부적합성 문제를 해결하기 위해.
• 새로운 문제 정의인 신경망 검색(NNS)을 제안하여, 제약 조건 하에 새로운 데이터셋에 가장 적합한 사전학습된 네트워크(아키텍처 + 가중치)를 검색하는 데에 집중하기 위해.
• 추가적인 아키텍처 검색이나 미세조정 없이 즉각적인 작업 관련 모델 검색을 가능하게 하여, 빠르고 저비용의 적응을 실현하기 위해.
• 실세계 다양한 데이터셋에 사전학습된 최신 기술의 네트워크를 포함하는 모델 저자리를 구축하여 효과적인 교차 모달 검색을 지원하기 위해.

제안 방법

• 실세계 다양한 데이터셋에 사전학습된 최신 기술의 신경망을 포함하는 모델 저자리를 구축하여, 검색을 위한 후보 모델로 활용한다.
• 세트 인코더를 사용하여 각 타겟 데이터셋을 잠재 표현으로 임베딩하여 기능적 및 위상적 특성을 캡처한다.
• 기능적 및 위상적 임베딩을 사용하여 각 사전학습된 네트워크를 인코딩하여 성능 잠재력을 표현한다.
• 데이터셋과 고성능 네트워크 간의 유사도를 최대화하고, 관련이 없는 쌍 간의 유사도를 최소화하는 교차 모달 대비 학습 목표를 훈련한다.
• 성능 예측기를 통합하여, 미리 보지 않은 데이터셋에서의 모델 정확도를 예측함으로써 학습 과정을 안내한다.
• 암시적 메타학습을 활용하여 다양한 데이터셋과 모델 유형에 일반화 가능한 공유된 작업 적응형 잠재 공간을 학습한다.

실험 결과

연구 질문

• RQ1 새로운 데이터셋에 최적의 네트워크를 검색할 때, 기존의 NAS 및 AutoML 방법에 비해 최종 정확도와 훈련 효율성 측면에서 검색 기반 접근법이 뛰어나게 되는가?
• RQ2 제안된 교차 모달 대비 학습 프레임워크는 데이터셋과 네트워크 임베딩을 얼마나 효과적으로 정렬하여 가장 적합한 사전학습된 모델을 식별하는가?
• RQ3 다양한 사전학습 데이터 기반의 모델 저자리 구성 전략이 무작위 샘플링에 비해 검색 성능 향상에 얼마나 기여하는가?
• RQ4 성능 예측기의 포함 여부가 검색 시스템의 정확도와 일반화 능력에 어떤 영향을 미치는가?
• RQ5 제안된 TANS 프레임워크는 기준선 방법에 비해 목표 성능에 도달하기 위해 필요한 훈련 스텝 수를 어떻게 크게 줄이는가?

주요 결과

• TANS는 10개의 실세계 데이터셋에서 뛰어난 성능을 기록하며, 기존의 NAS 및 AutoML 기준선을 항상 초월하는 최종 정확도를 확보한다.
• 목표 성능에 도달하기 위해 필요한 훈련 스텝 수를 수개월 단위로 줄여 총 비용을 크게 감소시킨다.
• 다양한 사전학습 데이터 기반으로 구성된 모델 저자리는 랜덤 샘플링의 데이터셋-네트워크 쌍보다 더 높은 샘플 효율성을 보였다.
• 추가적인 아키텍처 검색이나 미세조정 없이도 즉각적인 작업 적응형 모델 검색을 가능하게 하여, 최소한의 추론 비용으로 최신 기술 성능을 달성한다.
• 대비 학습 목표는 이질적인 데이터 분포 간에도 고성능 모델을 정확하게 검색할 수 있도록 데이터셋과 네트워크 임베딩을 효과적으로 정렬한다.
• 성능 예측기는 쿼리 데이터셋에서 높은 예측 성능를 가진 네트워크를 우선시하도록 모델을 안내함으로써 검색 정확도를 향상시킨다.