[논문 리뷰] SHiFT: An Efficient, Flexible Search Engine for Transfer Learning

Cédric Renggli, Xiaozhe Yao외 4명|arXiv (Cornell University)|2022. 04. 04.

Machine Learning and Algorithms인용 수 2

한 줄 요약

SHiFT는 HuggingFace, TF-Hub, PyTorch Hub와 같은 큰 이질적 레포지터리에서 최적의 사전 훈련 모델을 선택하는 데 도전하는 새로운 이면 작업 인식 검색 엔진으로, 사용자 정의 쿼리 언어인 SHiFT-QL을 통해 효율적이고 유연한 모델 선택을 가능하게 한다. 비용 기반 최적화 및 증분 쿼리 실행을 통해 기준 재실행 대비 빠른 속도 향상을 이끌어내며, 다양한 전이 학습 작업에서 높은 정확도를 유지한다.

ABSTRACT

Transfer learning can be seen as a data- and compute-efficient alternative to training models from scratch. The emergence of rich model repositories, such as TensorFlow Hub, enables practitioners and researchers to unleash the potential of these models across a wide range of downstream tasks. As these repositories keep growing exponentially, efficiently selecting a good model for the task at hand becomes paramount. By carefully comparing various selection and search strategies, we realize that no single method outperforms the others, and hybrid or mixed strategies can be beneficial. Therefore, we propose SHiFT, the first downstream task-aware, flexible, and efficient model search engine for transfer learning. These properties are enabled by a custom query language SHiFT-QL together with a cost-based decision maker, which we empirically validate. Motivated by the iterative nature of machine learning development, we further support efficient incremental executions of our queries, which requires a careful implementation when jointly used with our optimizations.

연구 동기 및 목표

• HuggingFace, TF-Hub, PyTorch Hub와 같은 큰 이질적 레포지터리에서 최적의 사전 훈련 모델을 선택하는 데 증가하는 도전 과제를 해결하기 위해.
• 일괄적 접근 전략의 한계를 극복하기 위해 작업별 맞춤형으로 설정 가능한 모델 검색 기준을 제공함으로써.
• 비용 기반 쿼리 최적화기와 증분 실행 지원을 도입하여 모델 검색의 계산 부담을 줄이기 위해.
• 새로운 검색 전략의 빠른 벤치마킹과 비교를 지원하는 통합적이고 확장 가능한 프레임워크를 제공하기 위해.
• 사용자 개인이 모델 검색 책임을 지는 것을 중앙 집중식 데이터 관리 시스템으로 이관하여 사용성과 효율성을 향상시키기 위해.

제안 방법

• 선형 분류기 정확도, 최근접 이웃 정확도, 상游 성능 등의 지표를 사용하여 복잡하고 사용자 정의 가능한 모델 검색 전략을 정의할 수 있는 도메인 특화 쿼리 언어인 SHiFT-QL을 도입한다.
• SHiFT-QL 쿼리에 대해 가장 효율적인 실행 계획을 선택하는 비용 기반 쿼리 최적화기를 활용하여 중복 계산을 최소화한다.
• 캐시된 중간 결과를 유지하여 증분 쿼리 실행을 지원함으로써 데이터나 모델이 변경될 경우 효율적인 업데이트를 가능하게 한다.
• 데이터셋 수정을 효율적으로 처리하기 위해 변경 읽기자(change-readers)와 추가 읽기자(add-readers)를 사용하며, 특히 데이터나 모델의 소수 부분만 업데이트될 경우 전체 재실행을 피할 수 있다.
• 19개의 VTAB-1K 데이터셋과 250개 이상의 HuggingFace 트랜스포머 모델을 대상으로 검색 전략을 평가하고 비교하기 위한 벤치마크 모듈을 구현한다.
• 증분 데이터 로딩 시 분포 이탈에 의한 모델 순위 저하를 방지하기 위해 분포 인식 데이터 처리를 지원한다.

실험 결과

연구 질문

• RQ1 다양한 이면 작업에서 동시에 효율적이고 영향력 있는 모델 검색 엔진을 설계하는 방법은 무엇인가?
• RQ2 대규모 사전 훈련 모델 레포지터리에서 모델 검색을 가속화하는 데 가장 효과적인 쿼리 언어와 최적화 기법은 무엇인가?
• RQ3 데이터셋이나 모델 풀이 변화할 때 증분 쿼리 실행이 재계산 오버헤드를 얼마나 줄일 수 있는가?
• RQ4 비용 기반 최적화와 캐싱 통합이 난이도 높은 재실행 대비 성능 향상에 어떻게 기여하는가?
• RQ5 통합 시스템이 전이 학습 분야에서 새로운 검색 전략의 빠른 평가와 비교를 지원할 수 있는가?

주요 결과

• SHiFT는 비용 기반 최적화를 활용하여 쿼리 실행 속도를 크게 향상시키며, 다양한 검색 전략 간의 중복 계산을 줄인다.
• SHiFT의 증분 실행은 특히 데이터나 모델의 소수 부분만 변경될 경우 재계산 비용을 크게 줄인다.
• 라벨 변경은 전체 재실행보다 훨씬 저렴한데, 이는 전체 추론 대비 프oxy 계산 비용이 낮기 때문이다.
• 증분 업데이트 중에 읽기자 간 분포를 지능적으로 관리함으로써 분포 이탈로 인한 모델 순위 저하를 방지한다.
• 벤치마크 모듈은 19개의 VTAB-1K 데이터셋과 250개 이상의 HuggingFace 모델을 대상으로 한 신뢰할 수 있는 대규모 검색 전략 평가를 가능하게 한다.
• SHiFT의 설계는 새로운 검색 전략의 체계적 비교 및 구현을 지원하여 연구자와 실무자들의 부담을 줄인다.