[논문 리뷰] Comprehensive and Efficient Data Labeling via Adaptive Model Scheduling

Mu Yuan, Lan Zhang외 2명|arXiv (Cornell University)|2020. 02. 08.

Advanced Neural Network Applications참고 문헌 36인용 수 4

한 줄 요약

이 논문은 자원 및 지연 제약 조건 하에서 고신뢰도 레이블 추출을 최대화하기 위해 미실행 모델의 가치를 예측하고 동적으로 모델 실행을 스케줄링하는 적응형 모델 스케줄링 프레임워크를 제안한다. 깊이 강화학습을 활용하며, 다섯 개인 이미지 데이터셋과 30개의 모델에서 평가된 결과, 레이블 품질에 손실 없이 처리 속도가 약 53% 향상되어 종합적인 데이터 레이블링 워크플로우의 효율성을 크게 향상시켰다.

ABSTRACT

Labeling data (e.g., labeling the people, objects, actions and scene in images) comprehensively and efficiently is a widely needed but challenging task. Numerous models were proposed to label various data and many approaches were designed to enhance the ability of deep learning models or accelerate them. Unfortunately, a single machine-learning model is not powerful enough to extract various semantic information from data. Given certain applications, such as image retrieval platforms and photo album management apps, it is often required to execute a collection of models to obtain sufficient labels. With limited computing resources and stringent delay, given a data stream and a collection of applicable resource-hungry deep-learning models, we design a novel approach to adaptively schedule a subset of these models to execute on each data item, aiming to maximize the value of the model output (e.g., the number of high-confidence labels). Achieving this lofty goal is nontrivial since a model's output on any data item is content-dependent and unknown until we execute it. To tackle this, we propose an Adaptive Model Scheduling framework, consisting of 1) a deep reinforcement learning-based approach to predict the value of unexecuted models by mining semantic relationship among diverse models, and 2) two heuristic algorithms to adaptively schedule the model execution order under a deadline or deadline-memory constraints respectively. The proposed framework doesn't require any prior knowledge of the data, which works as a powerful complement to existing model optimization technologies. We conduct extensive evaluations on five diverse image datasets and 30 popular image labeling models to demonstrate the effectiveness of our design: our design could save around 53\% execution time without loss of any valuable labels.

연구 동기 및 목표

• 다양한 자원 집약적인 딥러닝 모델을 사용하여 대규모 데이터를 효율적이고 종합적으로 레이블링하는 데 도전하는 데 목적을 두며.
• 각 데이터 항목으로부터 고신뢰도 레이블을 최대한 추출하면서 계산 낭비와 실행 시간을 최소화하는 데 목적을 두며.
• 데이터 내용에 대한 사전 지식이 없이도, 콘텐츠에 따라 달라지는 모델 출력에 실시간으로 적응하는 모델 스케줄링을 개발하는 데 목적을 두며.
• 기존의 모델 최적화 및 가속 기법들과 상호보완적인 경량이고 독립적인 솔루션을 제공하는 데 목적을 두며.
• 모바일 사진 앱 및 실시간 데이터 처리 파이프라인과 같은 자원 제약 환경에서의 실용적 구현을 가능하게 하는 데 목적을 두며.

제안 방법

• 학습된 모델 관계 그래프를 통해 다양한 모델 간의 의미적 관계를 탐색함으로써, 미실행 모델의 가치를 예측하는 데 목적이 있는 딥러닝 강화학습(DRL) 에이전트를 개발한다.
• 모델 간의 종속성과 유사성을 인코딩하기 위해 모델 관계 그래프를 구성함으로써, 어떤 모델이 고가치 출력을 낼지를 정보 기반으로 예측할 수 있도록 한다.
• 마감일 제약 조건이 있는 환경과 메모리 제약 조건이 있는 환경을 고려해 두 가지 히우리스틱 스케줄링 알고리즘을 제안하며, 예측된 가치에 기반해 모델 실행 순서를 최적화한다.
• DRL 에이전트는 최소한의 오버헤드만을 가지며, 각 결정에 대해 단지 3–6ms의 추론 시간과 100MB의 CPU 메모리만 소비하여 실시간 배포에 적합하다.
• 모델 실행은 각 데이터 항목 별로 동적으로 스케줄링되며, 유용하고 고신뢰도 레이블을 생성할 가능성이 높은 모델만을 예측하여 불필요한 실행을 방지한다.
• 시스템은 사전 데이터 분포 지식이 필요 없이 실시간으로 콘텐츠에 따라 달라지는 모델 행동에 적응한다.

실험 결과

연구 질문

• RQ1 콘텐츠에 따라 달라지는 환경에서 데이터에 의존하지 않는 조건에서, 불필요한 계산을 방지하기 위해 미실행 모델의 가치를 어떻게 예측할 수 있는가?
• RQ2 строго한 시간 및 메모리 제약 조건 하에서 고신뢰도 레이블을 최대한 추출하기 위해 어떤 스케줄링 전략이 가장 효과적인가?
• RQ3 다양한 딥러닝 모델 간의 의미적 관계를 효과적으로 모델링하고 활용하여 모델 유틸리티 예측 정확도를 향상시킬 수 있는가?
• RQ4 경량 DRL 기반 프레임워크가 실제 데이터 레이블링 워크로드에서 레이블 완전성 손실 없이 상당한 효율성 향상을 달성할 수 있는가?
• RQ5 대규모 모델 실행 파이프라인에서 스케줄링 지능과 계산 오버헤드 사이의 상호 트레이드오프는 어떠한가?

주요 결과

• 제안된 프레임워크는 다섯 개인 다양한 이미지 데이터셋에서 평균적으로 약 53%의 모델 실행 시간 단축을 달성하였으며, 어떤 유용한 레이블도 손실되지 않았다.
• DRL 에이전트는 각 결정에 대해 단지 3–6ms의 추론 시간만을 소비하면서도 높은 예측 정확도를 달성하여 실시간 배포에 적합하다.
• 모델 관계 그래프를 통해 다양한 모델 간의 지식 전이가 효과적으로 이루어져, 훈련 데이터가 제한된 환경에서도 예측 신뢰도가 향상된다.
• 히우리스틱 스케줄링 알고리즘은 무작위 또는 고정 순서 실행과 같은 기준 전략보다도 명백히 레이블 품질과 효율성 측면에서 뛰어나다.
• 프레임워크는 계산적으로 가벼워 100MB의 CPU 메모리만 소비하며, 각 딥러닝 모델이 소비하는 500MB–8GB의 GPU 메모리에 비해 매우 낮은 오버헤드를 가진다.
• 이 방법은 기존의 모델 최적화 기법들과 수직적(orthogonal)이며, 기존의 데이터 레이블링 파이프라인에 쉽게 통합되어 성능 향상을 이끌 수 있다.