[論文レビュー] TensorFlow Estimators: Managing Simplicity vs. Flexibility in High-Level Machine Learning Frameworks

Heng-Tze Cheng, Zakaria Haque+13 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Data Classification参考文献 11被引用数 13

ひとこと要約

この論文では、学習、評価、デプロイのための統一インターフェースを提供することで、シンプルさと柔軟性の両立を実現する高レベルなフレームワークであるTensorFlow Estimatorsを紹介する。実務家がボイラープレートを減らし、保守性を高め、開発を迅速化できる生産向けモデルの構築を可能にする。1つの事例研究では、37%の精度向上と75%のコード削減が達成され、Google内のチームで広範に採用されている。

ABSTRACT

We present a framework for specifying, training, evaluating, and deploying machine learning models. Our focus is on simplifying cutting edge machine learning for practitioners in order to bring such technologies into production. Recognizing the fast evolution of the field of deep learning, we make no attempt to capture the design space of all possible model architectures in a domain- specific language (DSL) or similar configuration language. We allow users to write code to define their models, but provide abstractions that guide develop- ers to write models in ways conducive to productionization. We also provide a unifying Estimator interface, making it possible to write downstream infrastructure (e.g. distributed training, hyperparameter tuning) independent of the model implementation. We balance the competing demands for flexibility and simplicity by offering APIs at different levels of abstraction, making common model architectures available out of the box, while providing a library of utilities designed to speed up experimentation with model architectures. To make out of the box models flexible and usable across a wide range of problems, these canned Estimators are parameterized not only over traditional hyperparameters, but also using feature columns, a declarative specification describing how to interpret input data. We discuss our experience in using this framework in re- search and production environments, and show the impact on code health, maintainability, and development speed.

研究の動機と目的

• 実務家向けの高レベルな機械学習フレームワークにおける柔軟性とシンプルさの両立を図ること。
• 深いフレームワークの専門知識が不要な、迅速かつ生産向けのモデル開発を可能にすること。
• モデル実装を分散学習やハイパーパramータチューニングなどのインfraストラクチャ的課題から分離すること。
• パラメータ化可能で合成可能なコンponentsを通じて、標準的なモデルアーキテクチャと新規アーキテクチャの実験の両方をサポートすること。
• 抽象化とベストプラクティスの強制を通じて、コードの健全性、保守性、開発速度の向上を図ること。

提案手法

• 多様なアーキテクチャにわたるモデル学習、評価、エクスポートを標準化する統一されたEstimatorインターフェースを導入する。
• 入力データの変換と解釈を宣言的かつ合成可能に指定するための特徴量カラム（feature columns）を採用する。
• カスタム可能なハイパーパramータと特徴量カラム入力を備えた、即時利用可能なカネッドEstimators（例：LinearClassifier、DNNLinearCombinedRegressor）を提供する。
• モデルロジックと学習・サービングインfraストラクチャを分離する一貫したAPIを通じて、モデルの再利用と抽象化を可能にする。
• モデル実装とは独立して開発された下流インfraストラクチャを介して、分散学習とハイパーパramータチューニングをサポートする。
• 意味的に類似した特徴量間で共有される埋め込み（shared embedding columns）を導入し、トランスファー学習を可能にするとともに、モデルサイズの削減を実現する。

実験結果

リサーチクエスチョン

• RQ1 高レベルな機械学習フレームワークは、実務家にとってのシンプルさと、進化する研究ニーズへの十分な柔軟性をどのように両立できるか？
• RQ2 統一されたEstimatorインターフェースは、生産向け機械学習システムにおけるボイラープレート削減と保守性向上にどの程度寄与するか？
• RQ3 特徴量カラムやカネッドEstimatorsといった合成可能な抽象化に基づくフレームワークは、モデル開発とデプロイの加速にどの程度有効か？
• RQ4 Estimatorフレームワークは、モデル接続ミスの削減とデバッグの明確化にどの程度効果的か？
• RQ5 大規模な機械学習環境において、このようなフレームワークは開発速度とチーム生産性にどのような影響を与えるか？

主な発見

• カスタムモデルから標準Estimatorに移行したことで、モデルの精度が37%向上し、コード量は800行から200行に削減された。
• 以前はデバッグに数週間を要したCTRモデルが、Estimatorフレームワークに移行したところ、わずか2日でリリース可能な指標に到達した。
• Googleコードベースに1年未満で1,000個以上のEstimatorsがチェックインされ、その57%がカネッドEstimatorsを使用しており、広範な採用が確認された。
• 120,000件を超える実験が記録されたことから、チーム全体でのモデル学習および評価への広範な使用が示された。
• 74%のユーザーが、従来のML APIと比較してフレームワークを用いることで開発が速くなったと報告しており、多くのユーザーが迅速な習得とコードの可読性向上を挙げた。
• TensorFlow経験が限られたデータサイエンティストでさえ、2日間で本格的なモデルを構築できたことから、このフレームワークの使いやすさが顕著に示された。