[논문 리뷰] Overton: A Data System for Monitoring and Improving Machine-Learned Products

Christopher Ré, Feng Niu외 2명|arXiv (Cornell University)|2019. 09. 07.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 21

한 줄 요약

Overton은 엔지니어가 기계학습 모델의 구축, 모니터링, 개선을 선언적이고 스키마 기반의 추상화를 통해 수행할 수 있도록 해주는 데이터 시스템으로, 저수준 모델 코드 작성의 필요성을 제거한다. 이 시스템은 프로그래밍적 감시를 통해 모델 훈련, 하이퍼파라미터 튜닝, 배포를 자동화하여, 일년간의 실전 응용에서 오류를 1.7–2.9배 감소시킨다.

ABSTRACT

We describe a system called Overton, whose main design goal is to support engineers in building, monitoring, and improving production machine learning systems. Key challenges engineers face are monitoring fine-grained quality, diagnosing errors in sophisticated applications, and handling contradictory or incomplete supervision data. Overton automates the life cycle of model construction, deployment, and monitoring by providing a set of novel high-level, declarative abstractions. Overton's vision is to shift developers to these higher-level tasks instead of lower-level machine learning tasks. In fact, using Overton, engineers can build deep-learning-based applications without writing any code in frameworks like TensorFlow. For over a year, Overton has been used in production to support multiple applications in both near-real-time applications and back-of-house processing. In that time, Overton-based applications have answered billions of queries in multiple languages and processed trillions of records reducing errors 1.7-2.9 times versus production systems.

연구 동기 및 목표

• 생산 기계학습 모델의 모니터링과 유지보수를 위한 도구 부족 문제를 해결하기 위해.
• 엔지니어가 저수준 모델 아키텍처나 하이퍼파라미터 튜닝이 아닌 감시 데이터에 집중할 수 있도록 하기 위해.
• 복잡한 다성분 기계학습 파이프라인에서 드물지만 중요한 입력 서브세트에 대한 세밀한 품질 모니터링을 지원하기 위해.
• 프로그래밍적 및 합성 레이블을 포함한 변화하는 다중 분류 수준의 감시 데이터를 관리하면서 갈등을 해결하기 위해.
• 선언적 스키마 시스템을 통해 훈련, 하이퍼파라미터 선택, 배포를 포함한 모델 라이프사이클 작업을 자동화하기 위해.

제안 방법

• Overton은 모델 로직과 감시 데이터를 분리하기 위해 선언적 스키마를 사용하여 모델 독립성과 스키마 안정성을 확보한다.
• 스키마는 입력 데이터 페이로드와 모델 작업을 정의하며, 모델이 무엇을 계산하는지 명시하지만, 어떻게 계산하는지(예: 아키텍처 또는 하이퍼파라미터)는 규정하지 않는다.
• 모델 인스턴스화, 훈련, 하이퍼파라미터 선택은 더 큰 범위의 신경망 아키텍처 탐색을 통해 자동화되며, 정밀한 아키텍처 탐색보다는 효율성을 우선시한다.
• 감시 데이터는 스키마와 별도로 관리되며, 프로그래밍적, 합성, 인간 주석 기반 레이블을 모두 지원하며 신속하게 업데이트할 수 있다.
• 시스템은 스키마와 데이터를 생산 환경용 바이너리로 컴파일하여 모델 구현 세부 정보를 추상화한다.
• 시스템은 데이터 페이로드와 모델 작업에 대한 모듈러하고 조합적인 추론을 가능하게 하여 다성분 파이프라인을 지원한다.

실험 결과

연구 질문

• RQ1 저수준 모델 공학이 필요 없이 실전에서 기계학습 시스템을 효율적으로 유지하고 개선할 수 있는 방법은 무엇인가?
• RQ2 선언적 스키마 기반 시스템이 모델 로직과 감시 데이터를 분리함으로써 개발자 생산성과 시스템 유지보수성을 향상시킬 수 있는가?
• RQ3 자동화된 아키텍처 및 하이퍼파라미터 탐색이 실전 시스템에서 수동 모델 설계의 필요성을 얼마나 줄일 수 있는가?
• RQ4 복잡한 기계학습 파이프라인에서 드문 편이지만 중요한 입력 서브세트에 대해 효과적으로 세밀한 품질 모니터링과 개선을 수행할 수 있는가?
• RQ5 통합 데이터 관리 시스템 내에서 대규모로 프로그래밍적 감시를 효과적으로 관리하고 조율할 수 있는가?

주요 결과

• Overton은 일년간의 구현 기간 동안 기준 생산 시스템 대비 오류율을 1.7~2.9배 감소시켰다.
• 이 시스템은 Tensorflow 같은 프레임워크에서 코드를 작성하지 않고도 엔지니어가 딥러닝 애플리케이션을 구축하고 유지보수할 수 있도록 했다.
• 실전에서 Overton 기반 애플리케이션을 통해 17억 개 이상의 질의가 처리되었고, 트리리언즈 건의 레코드가 처리되었다.
• 스키마 변경 사항이 실전에서 일년 이상 안정적으로 유지되어 모델 독립성과 유지보수 오버헤드 감소를 입증했다.
• 시스템은 실체 인식, 의도 탐지, 사실 기반 질문 응답에서의 지식 기반 등 복잡한 다성분 파이프라인을 성공적으로 관리했다.
• Overton의 감시 관리 접근 방식은 프로그래밍적 및 합성 레이블에 대한 빠른 반복을 가능하게 하여, 다시 시작하지 않고도 모델 품질을 향상시켰다.