[논문 리뷰] Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)

Κωνσταντίνος, Katsiapis외 18명|arXiv (Cornell University)|2020. 09. 28.

Scientific Computing and Data Management참고 문헌 14인용 수 6

한 줄 요약

이 논문은 알파벳의 엔드 투 엔드 머신러닝 플랫폼인 텐서플로 엔지니어드(TFX)의 역사적 개요를 제시하며, 이전의 시비얼(Sibyl) 시스템으로부터의 진화를 추적한다. 머신러닝 엔지니어링—다듬어진 소프트웨어 엔지니어링을 모델로 삼는 것—은 견고한 인프라와 표준화된 관행이 필요하며, TFX는 데이터 검증, 학습, 배포, 모니터링을 지원하는 모듈러하고 확장 가능한 구성 요소를 통해 프로덕션 수준의 머신러닝 워크플로우를 가능하게 한다. 이는 머신러닝 엔지니어링의 성숙도를 높이기 위한 조직적 투자 필요성을 주장한다.

ABSTRACT

Software Engineering, as a discipline, has matured over the past 5+ decades. The modern world heavily depends on it, so the increased maturity of Software Engineering was an eventuality. Practices like testing and reliable technologies help make Software Engineering reliable enough to build industries upon. Meanwhile, Machine Learning (ML) has also grown over the past 2+ decades. ML is used more and more for research, experimentation and production workloads. ML now commonly powers widely-used products integral to our lives. But ML Engineering, as a discipline, has not widely matured as much as its Software Engineering ancestor. Can we take what we have learned and help the nascent field of applied ML evolve into ML Engineering the way Programming evolved into Software Engineering [1]? In this article we will give a whirlwind tour of Sibyl [2] and TensorFlow Extended (TFX) [3], two successive end-to-end (E2E) ML platforms at Alphabet. We will share the lessons learned from over a decade of applied ML built on these platforms, explain both their similarities and their differences, and expand on the shifts (both mental and technical) that helped us on our journey. In addition, we will highlight some of the capabilities of TFX that help realize several aspects of ML Engineering. We argue that in order to unlock the gains ML can bring, organizations should advance the maturity of their ML teams by investing in robust ML infrastructure and promoting ML Engineering education. We also recommend that before focusing on cutting-edge ML modeling techniques, product leaders should invest more time in adopting interoperable ML platforms for their organizations. In closing, we will also share a glimpse into the future of TFX.

연구 동기 및 목표

• 알파벳에서 사용된 엔드 투 엔드 머신러닝 플랫폼인 TFX와 그 전신인 시비얼의 역사적 발전을 기록하는 것.
• 머신러닝 엔지니어링이라는 분야의 성숙을 가능하게 한 주요 기술적 및 문화적 전환점을 규명하는 것.
• TFX의 표준화되고 모듈러한 구성 요소가 프로덕션 환경에서 신뢰성 있고 확장 가능한 머신러닝 배포를 어떻게 지원하는지 보여주는 것.
• 응용 머신러닝의 잠재력을 극대화하기 위해 조직적 투자와 머신러닝 인프라 및 머신러닝 엔지니어링 교육의 중요성을 주장하는 것.
• TFX가 산업 규모의 머신러닝 시스템을 위한 기반으로서의 미래를 제시하는 것.

제안 방법

• 저자는 알파벳에서 사용된 두 개의 연속된 머신러닝 플랫폼—시비얼과 TFX—에 대한 후기적 분석을 제시한다.
• 시비얼과 TFX 간의 아키텍처 패턴, 구성 요소의 모듈성, 운영 관행을 비교한다.
• 논문은 데이터 검증, 통계 생성, 모델 학습, 모델 배포 등의 핵심 구성 요소를 포함한 TFX의 엔드 투 엔드 파이프라인을 개략적으로 설명한다.
• 재사용 가능한 표준화된 구성 요소의 사용을 강조하여 팀 간 복제 가능성, 모니터링, 협업을 향상시킨다.
• 소프트웨어 엔지니어링의 발전과 머신러닝 엔지니어링이라는 새로운 분야의 유사성을 제시한다.
• 기술적 빚을 줄이고 팀 생산성을 향상시키기 위해 상호운용성 있고 플랫폼에 종속되지 않는 머신러닝 시스템을 권장한다.

실험 결과

연구 질문

• RQ1 시비얼에서 TFX로의 전환은 머신러닝 엔지니어링이라는 분야의 성숙을 어떻게 반영하는가?
• RQ2 TFX가 확장 가능하고 신뢰할 수 있는 머신러닝 프로덕션 시스템을 지원하기 위해 어떤 아키텍처적 및 조직적 전환이 이루어졌는가?
• RQ3 TFX의 구성 요소는 머신러닝 파이프라인에서 데이터 품질, 모델 버전 관리, 배포 일관성 문제를 어떻게 해결하는가?
• RQ4 조직은 어떤 방식으로 인프라 투자와 플랫폼 도입을 통해 머신러닝 엔지니어링의 성숙도를 가속화할 수 있는가?
• RQ5 표준화되고 상호운용 가능한 머신러닝 플랫폼은 기술적 빚을 줄이고 팀 협업을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• TFX는 시비얼에서 비롯되어 표준화된 구성 요소를 갖춘 프로덕션 수준의 모듈러한 머신러닝 플랫폼으로 진화하여 엔드 투 엔드 머신러닝 워크플로우를 지원한다.
• TFX에서 표준화되고 재사용 가능한 구성 요소의 도입은 파이프라인의 신뢰성, 복제 가능성, 모니터링 능력을 크게 향상시켰다.
• 이 플랫폼은 일관된 데이터 검증, 모델 학습, 배포를 가능하게 하여 머신러닝 시스템의 오류와 기술적 빚을 감소시켰다.
• 조직은 견고한 머신러닝 인프라 투자와 머신러닝 엔지니어링 교육을 추진함으로써 더 높은 머신러닝 성숙도를 달성할 수 있다.
• 상호운용 가능한 머신러닝 플랫폼인 TFX는 모델 개발과 배포를 분리함으로써 확장 가능하고 유지보수가 쉬운 머신러닝 시스템을 가능하게 한다.
• 논문은 향후 대규모 머신러닝 워크로드를 지원하기 위해 TFX가 자동화, 모니터링, 확장성 향상 방향으로 진화할 것임을 예측한다.