[논문 리뷰] ModelHub: Towards Unified Data and Lifecycle Management for Deep Learning

Hui Miao, Ang Li외 2명|arXiv (Cornell University)|2016. 11. 18.

Data Quality and Management참고 문헌 23인용 수 11

한 줄 요약

ModelHub는 딥러닝 데이터 및 라이프사이클 관리를 위한 통합 시스템을 제안하며, 모델 탐색을 위한 도메인 특화 언어(DSL)와 다중 해상도 델타 인코딩을 사용해 저장소를 최소화하고 쿼리 성능을 향상시키는 신규 파라미터 압축 저장소(PAS)를 도입한다. 이 시스템은 효율적인 버전 관리, 점진적 추론, 확장 가능한 모델 관리를 가능하게 하며, 실험 결과 쿼리 평가 시 높은 압축 비율과 낮은 오류율을 보였다.

ABSTRACT

Deep learning has improved state-of-the-art results in many important fields, and has been the subject of much research in recent years, leading to the development of several systems for facilitating deep learning. Current systems, however, mainly focus on model building and training phases, while the issues of data management, model sharing, and lifecycle management are largely ignored. Deep learning modeling lifecycle generates a rich set of data artifacts, such as learned parameters and training logs, and comprises of several frequently conducted tasks, e.g., to understand the model behaviors and to try out new models. Dealing with such artifacts and tasks is cumbersome and largely left to the users. This paper describes our vision and implementation of a data and lifecycle management system for deep learning. First, we generalize model exploration and model enumeration queries from commonly conducted tasks by deep learning modelers, and propose a high-level domain specific language (DSL), inspired by SQL, to raise the abstraction level and accelerate the modeling process. To manage the data artifacts, especially the large amount of checkpointed float parameters, we design a novel model versioning system (dlv), and a read-optimized parameter archival storage system (PAS) that minimizes storage footprint and accelerates query workloads without losing accuracy. PAS archives versioned models using deltas in a multi-resolution fashion by separately storing the less significant bits, and features a novel progressive query (inference) evaluation algorithm. Third, we show that archiving versioned models using deltas poses a new dataset versioning problem and we develop efficient algorithms for solving it. We conduct extensive experiments over several real datasets from computer vision domain to show the efficiency of the proposed techniques.

연구 동기 및 목표

• 현재 모델 훈련과 구축에 집중하고 있는 딥러닝 시스템에서 통합된 데이터 및 라이프사이클 관리의 부재를 해결하기 위해.
• 반복적인 모델 개발 과정에서 모델 변종, 하이퍼파라미터, 성능 메트릭을 추적하는 부담을 줄이기 위해.
• 정확도를 희생시키지 않은 채 대규모 딥 네URAL 네트워크 파라미터의 압축적이고 효율적인 저장을 가능하게 하기 위해.
• 모델 동작 및 성능을 쿼리하기 위한 SQL 유사 DSL을 통한 고수준의 선언적 모델 탐색을 지원하기 위해.
• 델타 압축된 모델 파라미터로 인해 발생하는 새로운 데이터셋 버전 관리 문제를 효율적인 점진적 쿼리 평가 알고리즘을 통해 해결하기 위해.

제안 방법

• 모델 탐색 및 열거 쿼리를 표현하기 위해 SQL을 영감으로 삼은 고수준 도메인 특화 언어(DSL)를 설계하여 저수준의 훈련 및 튜닝 로직을 추상화한다.
• 훈련 반복 과정에서 모델 스냅샷, 하이퍼파라미터, 성능 메트릭을 추적하기 위한 모델 버전 관리 시스템(dlv)을 구현한다.
• 모델 가중치를 다중 해상도 델타 인코딩을 사용해 저장하는 읽기 최적화 파라미터 압축 저장소(PAS)를 개발한다. 이는 덜 중요한 비트를 별도로 분리하고 압축한다.
• 편차 오차 분석 기반으로 점진적으로 파라미터 정밀도를 검색하고 디코딩하는 점진적 쿼리 평가 알고리즘을 도입한다.
• 하위 세그먼트 기반 오차 추정을 고차원으로 적용하여, 저차원 바이트가 필요한 시점을 결정함으로써 추론에 불필요한 정밀도를 최소화한다.
• 편차 분석을 적용하여 정밀도 감소가 모델 정확도에 미치는 영향을 평가하고, 저장 및 검색 결정을 이끌어내는 데 활용한다.

실험 결과

연구 질문

• RQ1 모델 탐색 및 열거를 어떻게 고수준의 선언적 인터페이스로 추상화하여 딥러닝 개발을 가속화할 수 있는가?
• RQ2 최소한의 저장소 면적과 낮은 쿼리 지연 시간을 유지하면서 대규모 딥 네URAL 네트워크 파라미터를 효율적으로 저장하고 검색할 수 있는 방법은 무엇인가?
• RQ3 모델 파라미터의 델타 기반 압축을 저장소와 점진적 쿼리 평가 모두에 최적화할 수 있는가?
• RQ4 보관된 모델 파라미터에서 정밀도 감소와 예측 정확도 사이의 상호 관계는 무엇이며, 이를 정량적으로 어떻게 관리할 수 있는가?
• RQ5 반복적인 모델 개발 및 비교를 지원하는 방식으로, 버전 관리된 모델 데이터를 효율적으로 관리하고 쿼리할 수 있는 방법은 무엇인가?

주요 결과

• 제안된 DSL은 모델 변종, 하이퍼파라미터, 성능 메트릭을 대상으로 선언적 쿼리를 가능하게 하여 모델 탐색의 복잡성을 크게 감소시킨다.
• PAS 저장소 시스템은 모델 파라미터의 다중 해상도 델타 인코딩을 활용해 고압축 비율을 달성하며, 정확도를 훼손하지 않은 채 저장소 면적을 줄였다.
• 편차 분석 기반 점진적 쿼리 평가 결과, 전체 테스트 데이터의 약 1% 미만에서만 전체 정밀도의 하위 비트가 필요함을 확인하여 델타 기반 접근의 효율성을 입증했다.
• 실제 컴퓨터 비전 모델에 적용했을 때 시스템은 저장 요구량을 최대 80%까지 줄였으며, 거의 동일한 추론 정확도를 유지했다.
• 점진적 쿼리 알고리즘은 필요로 하는 정밀도 비트만 검색함으로써 I/O 및 디코딩 오버헤드를 줄여 추론 워크로드를 가속화했다.
• 실험 결과는 다양한 데이터셋과 모델 아키텍처에서 이 방법이 효과적이며, 저장소 및 쿼리 효율성 측면에서 일관된 성능 향상을 보임을 입증했다.