[論文レビュー] Towards ML Engineering: A Brief History Of TensorFlow Extended (TFX)

Κωνσταντίνος, Katsiapis+18 more|arXiv (Cornell University)|Sep 28, 2020

Scientific Computing and Data Management参考文献 14被引用数 6

ひとこと要約

この論文は、アルファベットのエンドツーエンドMLプラットフォームであるTensorFlow Extended (TFX) の歴史的概要を提示し、それ以前のSibylシステムからの進化をたどる。機械学習工学—成熟したソフトウェア工学を模範として—は、堅牢なインfra構造と標準化された実践を要する。TFXは、データ検証、トレーニング、サービング、監視を支援するモジュール型でスケーラブルなコンポーネントを通じて生産環境向けのMLワークフローを可能にし、最終的にML工学の成熟を促進するための組織的投資を提唱する。

ABSTRACT

Software Engineering, as a discipline, has matured over the past 5+ decades. The modern world heavily depends on it, so the increased maturity of Software Engineering was an eventuality. Practices like testing and reliable technologies help make Software Engineering reliable enough to build industries upon. Meanwhile, Machine Learning (ML) has also grown over the past 2+ decades. ML is used more and more for research, experimentation and production workloads. ML now commonly powers widely-used products integral to our lives. But ML Engineering, as a discipline, has not widely matured as much as its Software Engineering ancestor. Can we take what we have learned and help the nascent field of applied ML evolve into ML Engineering the way Programming evolved into Software Engineering [1]? In this article we will give a whirlwind tour of Sibyl [2] and TensorFlow Extended (TFX) [3], two successive end-to-end (E2E) ML platforms at Alphabet. We will share the lessons learned from over a decade of applied ML built on these platforms, explain both their similarities and their differences, and expand on the shifts (both mental and technical) that helped us on our journey. In addition, we will highlight some of the capabilities of TFX that help realize several aspects of ML Engineering. We argue that in order to unlock the gains ML can bring, organizations should advance the maturity of their ML teams by investing in robust ML infrastructure and promoting ML Engineering education. We also recommend that before focusing on cutting-edge ML modeling techniques, product leaders should invest more time in adopting interoperable ML platforms for their organizations. In closing, we will also share a glimpse into the future of TFX.

研究の動機と目的

• アルファベットにおけるエンドツーエンドMLプラットフォームとしてのTFXおよびその前身Sibylの歴史的発展を文書化すること。
• ML工学という分野としての成熟を可能にした、主な技術的および文化的な転換を特定すること。
• TFXに組み込まれた標準化・モジュール型コンポーネントが、生産環境での信頼性の高いスケーラブルなMLデプロイをどのように支援するかを示すこと。
• 応用機械学習の潜在能力を最大限に引き出すために、MLインfra構造およびML工学教育への組織的投資を提唱すること。
• TFXが産業規模のMLシステムの基盤となる将来のビジョンを提示すること。

提案手法

• 著者は、アルファベットで使用された2つの連続するMLプラットフォーム—SibylおよびTFX—の回想的分析を提示する。
• SibylとTFXの間で、アーキテクチャパターン、コンポーネントのモジュラリティ、運用実践を比較する。
• 論文は、エンドツーエンドパイプラインの一部として、データ検証、統計生成、モデルトレーニング、モデルサービングといったTFXのコアコンポーネントを概説する。
• 再現性、監視、チーム間連携の向上を図るため、標準化され再利用可能なコンポーネントの使用を強調する。
• ソフトウェア工学の進化と、新たに出現しつつあるML工学という分野との類似性を示す。
• 技術的負債を低減し、チーム生産性を向上させるために、相互運用可能でプラットフォームに依存しないMLシステムを提唱する。

実験結果

リサーチクエスチョン

• RQ1 SibylからTFXへの移行は、ML工学という分野としての成熟をどのように反映しているか？
• RQ2 TFXがスケーラブルで信頼性の高いMLプロダクションシステムをサポートするにあたり、どのようなアーキテクチャ的および組織的転換が行われたか？
• RQ3 TFXのコンポーネントは、MLパイプラインにおけるデータ品質、モデルバージョニング、デプロイメントの一貫性の課題を、どのように解決しているか？
• RQ4 組織は、インfra構造への投資およびプラットフォームの採用を通じて、どのようにML工学の成熟度を加速できるか？
• RQ5 標準化され相互運用可能なMLプラットフォームは、技術的負債の低減とチーム連携の向上に、どのような役割を果たすか？

主な発見

• TFXはSibylから進化し、バージョン管理されたコンポーネントを備えた生産環境向けのモジュール型MLプラットフォームに発展した。
• TFXにおける標準化・再利用可能なコンポーネントの採用は、パイプラインの信頼性、再現性、監視能力を顕著に向上させた。
• このプラットフォームは、一貫したデータ検証、モデルトレーニング、サービングを可能にし、MLシステムにおけるエラーと技術的負債を低減した。
• 組織は、堅牢なMLインfra構造への投資およびML工学教育の推進を通じて、より高いML成熟度を達成できる。
• 相互運用可能でプラットフォームに依存しないMLプラットフォーム（TFXを含む）は、モデル開発とデプロイメントを分離可能にし、スケーラブルで保守性の高いMLシステムを実現する。
• 本論文は、将来的にTFXが自動化、監視、拡張性の向上を図り、大規模なMLワークロードを支えるものになると予想している。