[논문 리뷰] Fast Task-Aware Architecture Inference

Efi Kokiopoulou, Anja Hauth외 4명|arXiv (Cornell University)|2019. 02. 15.

Advanced Neural Network Applications참고 문헌 21인용 수 10

한 줄 요약

이 논문은 원시 데이터에서 직접 학습된 메타특징을 활용하여 다양한 작업 간의 모델 성능을 예측하는 기울기 기반, 작업 인식 아키텍처 추론 프레임워크를 제안한다. 이전 훈련 실험에서 학습된 딥 밸류 네트워크를 통해, 새로운 작업에 대해 어떤 모델도 훈련하지 않고도 빠르게 제로샷 아키텍처 검색을 수행할 수 있으며, 이는 고비용의 NAS 기준선 성능에 근접한 성능을 달성함으로써 자원이 제한된 환경에서 높은 효율성과 강력한 일반화 능력을 입증한다.

ABSTRACT

Neural architecture search has been shown to hold great promise towards the automation of deep learning. However in spite of its potential, neural architecture search remains quite costly. To this point, we propose a novel gradient-based framework for efficient architecture search by sharing information across several tasks. We start by training many model architectures on several related (training) tasks. When a new unseen task is presented, the framework performs architecture inference in order to quickly identify a good candidate architecture, before any model is trained on the new task. At the core of our framework lies a deep value network that can predict the performance of input architectures on a task by utilizing task meta-features and the previous model training experiments performed on related tasks. We adopt a continuous parametrization of the model architecture which allows for efficient gradient-based optimization. Given a new task, an effective architecture is quickly identified by maximizing the estimated performance with respect to the model architecture parameters with simple gradient ascent. It is key to point out that our goal is to achieve reasonable performance at the lowest cost. We provide experimental results showing the effectiveness of the framework despite its high computational efficiency.

연구 동기 및 목표

• 클라우드 ML 서비스와 같은 자원이 제한된 환경에서 신경망 아키텍처 검색(NAS)의 높은 계산 비용을 해결하기 위해.
• 목표 데이터에 대해 어떤 모델도 훈련하지 않고도 새로운 작업에 대해 빠르고 효율적인 아키텍처 추론을 가능하게 하기 위해.
• 사전 계산된 특징에 의존하는 대신 원시 데이터 샘플에서 직접 메타특징을 학습하기 위해.
• 이전 훈련 실험에서의 지식 전이를 통해 여러 작업 간 아키텍처 검색 비용을 분산 처리하기 위해.
• 연속적 파arametrization과 기울기 최적화를 사용한 엔드 투 엔드 아키텍처 검색을 위한 확장 가능한, 미분 가능한 프레임워크 개발하기 위해.

제안 방법

• 딥 밸류 네트워크는 관련 작업의 메타특징과 이전 훈련 결과를 사용하여 주어진 작업에서 후보 아키텍처의 성능을 예측하도록 훈련된다.
• 메타특징은 밸류 네트워크 내부의 신경망 구성 요소를 통해 원시 작업 데이터 샘플에서 엔드 투 엔드로 학습되며, 수작업으로 만든 특징에 의존하지 않게 된다.
• 모델 아키텍처는 연속적 파arametrization을 통해 미분 가능한 최적화를 허용하여 효율적인 기울기 기반 검색이 가능해진다.
• 새로운 작업에 대해, 프레임워크는 밸류 네트워크에서 예측된 성능을 최대화하기 위해 아키텍처 파라미터에 대해 기울기 상승을 수행한다.
• 온라인 단계에서는 자식 모델 훈련이 전혀 필요 없으며, 아키텍처 추론은 오직 밸류 네트워크와 기울기 최적화에 의해 수행된다.
• 프레임워크는 오프라인 단계에서 이력 데이터를 기반으로 밸류 네트워크를 훈련하고, 온라인 단계에서 새로운 작업의 아키텍처를 추론하는 이중 단계 설정을 사용한다.

실험 결과

연구 질문

• RQ1 이전 훈련 실험에서 학습된 딥 밸류 네트워크가 새로운 작업에서 아키텍처 성능을 높은 정확도로 예측할 수 있는가?
• RQ2 원시 데이터에서 직접 학습된 메타특징이 사전 계산된 특징에 비해 성능 예측에 얼마나 향상되는가?
• RQ3 연속 공간에서 기울기 기반 아키텍처 검색이 목표 작업에 대해 훈련 없이도 높은 성능의 모델을 효과적으로 식별할 수 있는가?
• RQ4 제로샷 아키텍처 추론이 테스트 정확도 측면에서 NAS 성능에 얼마나 가까이 도달할 수 있는가?
• RQ5 다양한 작업 간 지식 전이가 아키텍처 검색 비용을 크게 줄이고도 높은 성능을 유지하는 데 효과적인가?

주요 결과

• 제안된 방법은 새로운 작업에 대해 어떤 훈련도 수행하지 않았음에도 불구하고 11개의 다양한 NLP 작업에서 NAS 기준선 성능과 1-3% 이내의 테스트 정확도를 달성했다.
• 예측된 성능과 실제 성능 간 스피어만의 순위 상관관계는 대부분의 작업에서 약 0.8이었으며, 강력한 예측 능력을 시사한다.
• 성능 예측의 R2 지표는 0.6에서 0.8 사이로 변동했으며, 밸류 네트워크가 다양한 작업 간에 일반화할 수 있음을 확인한다.
• 학습된 메타특징의 포함으로 스피어만의 로 및 R2 지표가 모두 향상되었으며, 이는 성능 추정에 있어 메타특징의 가치를 입증한다.
• 모든 작업에서 제안된 방법이 찾은 최고의 아키텍처는 NAS가 첫 10개 모델을 尝시는 평균 성능을 초월했으며, 강력한 샘플 효율성을 보였다.
• 온라인 단계에서 자식 모델 훈련이 전혀 필요 없었기 때문에, 이 프레임워크는 매우 낮은 계산 비용으로 높은 성능을 달성했다.