[論文レビュー] TF.Learn: TensorFlow's High-level Module for Distributed Machine Learning

Yuan Tang|arXiv (Cornell University)|Dec 13, 2016

Machine Learning and Data Classification参考文献 4被引用数 51

ひとこと要約

TF.Learn は、TensorFlow のための高レベルな Python API であり、Scikit-learn と互換性のあるインターフェースを提供することで、分散機械学習モデルの開発、学習、デプロイメントを簡素化する。研究者や実務家が TensorFlow の低レベル API を最小限のボイラープレートで使用して、教師ありおよび教師なし学習モデルを構築・評価・スケーリングでき、分散学習、ハイパーパramータチューニング、プロダクションデプロイメントを標準でサポートする。

ABSTRACT

TF.Learn is a high-level Python module for distributed machine learning inside TensorFlow. It provides an easy-to-use Scikit-learn style interface to simplify the process of creating, configuring, training, evaluating, and experimenting a machine learning model. TF.Learn integrates a wide range of state-of-art machine learning algorithms built on top of TensorFlow's low level APIs for small to large-scale supervised and unsupervised problems. This module focuses on bringing machine learning to non-specialists using a general-purpose high-level language as well as researchers who want to implement, benchmark, and compare their new methods in a structured environment. Emphasis is put on ease of use, performance, documentation, and API consistency.

研究の動機と目的

• 非エキスパートや研究者にとって、なじみやすい Scikit-learn 風のインターフェースを用いて、機械学習モデルの構築・学習・デプロイメントのプロセスを簡素化すること。
• 特に分散学習やモデル管理において、TensorFlow の低レベル API の複雑さを抽象化すること。
• TensorFlow の分散コンピューティング機能、特にマルチマシンおよびマルチデバイス学習をシームレスに統合すること。
• 構造的かつ拡張可能な環境で、新しい機械学習アルゴリズムの迅速なプロトタイピング、ベンチマーク、比較を可能にすること。
• 標準化されたエクスポート戦略を通じて、TensorFlow Serving を介したモデルのエクスポートとデプロイメントを容易にすること。

提案手法

• Scikit-learn に類似した一貫した fit/predict API を備えた Estimator クラスを公開し、モデルの学習、評価、予測をカプセル化する。
• model_fn 関数を用いてカスタム計算グラフを定義し、TensorFlow の低レベル操作を用いて複雑なアーキテクチャを構築できるようにする。
• RunConfig を活用して実行時の設定を管理し、GPU メモリ使用量、クラスタ構成、分散学習トポロジーを制御する。
• FeedingQueueRunner を介した非同期データ供給を可能にする DataFrame モジュールを導入し、学習スループットを向上させる。
• SessionRunHook 機構を用いて学習の監視、早期停止の実装、チェックポイントの自動保存を実現する。
• Experiment クラスを提供し、ローカルまたは分散環境での学習・評価ループを、頻度、遅延、継続的評価を設定可能に制御する。

実験結果

リサーチクエスチョン

• RQ1 TensorFlow の上に、Scikit-learn と互換性のある高レベルインターフェースを構築することは可能か？ これにより、非エキスパートの導入障壁は低下するか？
• RQ2 分散学習とモデルデプロイメントを抽象化する方法は何か？ その際、パフォーマンスと柔軟性を損なわないようにするには？
• RQ3 TF.Learn は、研究およびプロダクションワークフローにおける再現性と生産性をどの程度向上できるか？
• RQ4 TF.Learn は、カスタムモデル開発や高度な学習技術に必要な TensorFlow の低レベル API とどの程度効果的に統合できるか？
• RQ5 Keras や Lasagne などの他の高レベルディープラーニングフレームワークと比較して、TF.Learn はパフォーマンスおよび使いやすさの面でどの程度の利点を提供するか？

主な発見

• TF.Learn は、単純な fit/predict インターフェースを用いることで、TensorFlow でのモデル構築の複雑さを顕著に低減している。
• Estimator API は、深層ニューラルネットワーク、ワイド&ディープモデル、ランダムフォレストなど、幅広い最先端のアルゴリズムを、TensorFlow 内でネイティブにサポートしている。
• 分散学習は標準で完全にサポートされており、複数のマシンやデバイスにスケーリングするための追加コードが一切不要である。
• TensorFlow Serving との統合により、最小限の構成でモデルをエクスポート・プロダクションデプロイメントできる。
• ユーザーは、GridSearch や Pipeline といった既存の Scikit-learn ツールを、TF.Learn 内で直接利用可能となり、実験やハイパーパramータチューニングのワークフローが強化される。
• TF.Learn は、早期停止、学習率の減衰、クラスウェイト、マルチアウトプット学習といった高度な学習機能を、カスタムコードなしでネイティブにサポートしている。