[논문 리뷰] Open Source Vizier: Distributed Infrastructure and API for Reliable and Flexible Blackbox Optimization

Xingyou Song, Sagi Perel외 3명|arXiv (Cornell University)|2022. 07. 27.

Machine Learning and Data Classification인용 수 4

한 줄 요약

OSS Vizier는 확장성 있고 장애 내성적인 블랙박스 최적화를 위한 오픈소스이자 분산형 파이썬 기반 프레임워크로, 사용자가 다양한 최적화 문제—다중목표, 조건부, 조기 정지 시나리오 포함—을 유연한 RPC 기반 API를 통해 정의하고 해결할 수 있도록 한다. 이는 어떤 언어와도 통합 가능하며 알고리즘 개발을 위한 사용자 정의 백엔드를 제공하여 연구 및 생산 환경 모두에 적합하다.

ABSTRACT

Vizier is the de-facto blackbox and hyperparameter optimization service across Google, having optimized some of Google's largest products and research efforts. To operate at the scale of tuning thousands of users' critical systems, Google Vizier solved key design challenges in providing multiple different features, while remaining fully fault-tolerant. In this paper, we introduce Open Source (OSS) Vizier, a standalone Python-based interface for blackbox optimization and research, based on the Google-internal Vizier infrastructure and framework. OSS Vizier provides an API capable of defining and solving a wide variety of optimization problems, including multi-metric, early stopping, transfer learning, and conditional search. Furthermore, it is designed to be a distributed system that assures reliability, and allows multiple parallel evaluations of the user's objective function. The flexible RPC-based infrastructure allows users to access OSS Vizier from binaries written in any language. OSS Vizier also provides a back-end ("Pythia") API that gives algorithm authors a way to interface new algorithms with the core OSS Vizier system. OSS Vizier is available at https://github.com/google/vizier.

연구 동기 및 목표

• 연구 및 산업 분야에서 블랙박스 최적화를 위한 Google 내부 Vizier 시스템의 프로덕션 수준의 오픈소스 대안을 제공하기 위해.
• 연구자와 실무자가 자체 인프라에서 신뢰할 수 있고 분산된 최적화 서비스를 배포하고 커스터마이징할 수 있도록 하기 위해.
• 통합적이고 확장 가능한 프레임워크 내에서 다중 지표 최적화, 조건부 검색 공간, 조기 정지와 같은 고급 최적화 기능을 지원하기 위해.
• 모듈러한 Pythia API를 통해 알고리즘 개발과 배포를 분리하여 플러그인 방식의 최적화 알고리즘을 구현 가능하게 하기 위해.
• 지속적 상태 관리 기반의 서비스 기반 RPC 아키텍처를 통해 장애 내성성과 수평적 확장성을 확보하기 위해.

제안 방법

• 검색 공간, 지표, 제약 조건을 포함한 최적화 문제 정의를 위한 고수준 파이썬 API를 제공한다.
• 클라이언트와 백엔드를 분리하기 위해 원격 프로시저 호출(RPC) 프로토콜을 사용하여 분산 실행과 다국어 지원을 가능하게 한다.
• 실험, 제안, 결과를 장애 내성성과 지속성과 함께 관리하는 상태 기반 백엔드 서비스를 운영한다.
• 하나의 하이퍼파rameter가 다른 하이퍼파rameter의 값에 의존할 수 있도록 허용하여 조건부 검색 공간을 지원함으로써 구조화된 하이퍼파라미터 검색을 가능하게 한다.
• 중간 지표 보고를 통해 조기 정지를 도입하여 성능 추세에 따라 실험을 조기에 종료할 수 있도록 한다.
• 알고리즘 저자들이 새로운 최적화 알고리즘을 핵심 시스템에 통합할 수 있도록 Pythia API를 제공한다.

실험 결과

연구 질문

• RQ1 프로덕션 수준의 블랙박스 최적화 시스템을 효과적으로 오픈소스화하면서 신뢰성과 확장성을 유지할 수 있는가?
• RQ2 모듈러하고 RPC 기반 아키텍처를 사용해 분산형, 장애 내성적, 다중 테넌트 최적화 서비스를 얼마나 잘 설계할 수 있는가?
• RQ3 통합된 API가 다중목표, 조건부, 조기 정지 시나리오를 포함한 다양한 최적화 워크로드를 효과적으로 지원할 수 있는가?
• RQ4 사용자 인터페이스와 알고리즘 백엔드 간의 책임 분리가 확장성과 장기적인 유지보수성을 어떻게 향상시키는가?
• RQ5 연구 실험과 대규모 프로덕션 사용을 모두 지원하는 시스템을 설계할 때 발생하는 실질적 트레이드오프는 무엇인가?

주요 결과

• OSS Vizier는 내부적으로 수백만 건의 최적화 작업에 사용된 Google Vizier의 核심 기능을 완전히 오픈소스화된 독립형 파이썬 패키지로 공개하였다.
• 시스템은 다중목표 최적화, 조건부 검색 공간, 조기 정지와 같은 고급 기능을 지원하여 실세계의 머신러닝 및 과학 워크플로우에 필수적이다.
• RPC 기반 아키텍처 덕분에 다양한 언어로 작성된 시스템과의 원활한 통합이 가능해져 상호 운용성과 배포 유연성이 향상된다.
• Pythia API를 통해 연구자들이 핵심 서비스와 별도로 새로운 최적화 알고리즘을 구현하고 테스트할 수 있어 확장성과 혁신을 촉진한다.
• 시스템은 장애 내성성, 지속적 상태, 고처리량 비동기 평가 지원을 갖춘 프로덕션 수준으로 다져져 있다.
• OSS Vizier는 Vertex AI Vizier와 완전히 호환되며 XManager과 같은 기존 Google 생태계 도구와 통합되어 보다 넓은 머신러닝 오케스트레이션 파이프라인과의 상호 운용성을 확보한다.