[論文レビュー] Overton: A Data System for Monitoring and Improving Machine-Learned Products

Christopher Ré, Feng Niu+2 more|arXiv (Cornell University)|Sep 7, 2019

Anomaly Detection Techniques and Applications参考文献 29被引用数 21

ひとこと要約

Overton は、低レベルのモデルコーディングを必要とせず、宣言的でスキーマベースの抽象化を通じて、エンジニアが生産用機械学習システムの構築、監視、改善を可能にするデータシステムである。プログラム的監視を用いてモデルトレーニング、ハイパーパramータチューニング、デプロイメントを自動化し、1年間にわたり生産応用でエラーを1.7–2.9倍削減した。

ABSTRACT

We describe a system called Overton, whose main design goal is to support engineers in building, monitoring, and improving production machine learning systems. Key challenges engineers face are monitoring fine-grained quality, diagnosing errors in sophisticated applications, and handling contradictory or incomplete supervision data. Overton automates the life cycle of model construction, deployment, and monitoring by providing a set of novel high-level, declarative abstractions. Overton's vision is to shift developers to these higher-level tasks instead of lower-level machine learning tasks. In fact, using Overton, engineers can build deep-learning-based applications without writing any code in frameworks like TensorFlow. For over a year, Overton has been used in production to support multiple applications in both near-real-time applications and back-of-house processing. In that time, Overton-based applications have answered billions of queries in multiple languages and processed trillions of records reducing errors 1.7-2.9 times versus production systems.

研究の動機と目的

• 生産用機械学習モデルの監視と保守のためのツールリングの欠如、これが総所有コストの大部分を占めることに対処する。
• エンジニアが低レベルのモデルアーキテクチャやハイパーパramータチューニングではなく、監視データに集中できるようにすること。
• 複雑なマルチコンponent ML パイプラインにおいて、まれだが重要な入力サブセットにおける細粒度の品質監視を可能にすること。
• 進化する多様な粒度の監視データ（プログラム的および合成ラベルを含む）を管理しながら、矛盾を解消すること。
• 宣言的スキーマシステムを通じて、トレーニング、ハイパーパramータ選択、デプロイメントを含むモデルライフサイクルタスクを自動化すること。

提案手法

• Overton は、モデル論理と監視データを分離する宣言的スキーマを用い、モデルの独立性とスキーマの安定性を実現する。
• スキーマは入力データペイロードとモデルタスクを定義し、モデルが何を計算するかを指定するが、その実装方法（アーキテクチャやハイパーパramータなど）を規定しない。
• モデルインスタンス化、トレーニング、ハイパーパramータ選択は、細かいアーキテクチャ探索を避け、効率性を重視する粗い粒度のニューラルアーキテクチャサーチにより自動化される。
• 監視データはスキーマとは別に管理され、迅速に更新可能であり、プログラム的、合成的、および人間によるアノテーションラベルをサポートする。
• システムはスキーマとデータを生産向けバイナリにコンパイルし、モデル実装の詳細を抽象化する。
• システムは、データペイロードとモデルタスクに対するモジュラで合成的な推論を可能にすることで、マルチコンponentパイプラインをサポートする。

実験結果

リサーチクエスチョン

• RQ1 低レベルのモデルエンジニアリングを必要とせずに、生産環境における機械学習システムを効率的に保守・改善することは可能か？
• RQ2 宣言的スキーマベースのシステムは、モデル論理と監視データを分離することで、開発生産性とシステムの保守性を向上させることができるか？
• RQ3 自動化されたアーキテクチャおよびハイパーパramータサーチは、生産環境における手動モデル設計の必要性をどの程度低減できるか？
• RQ4 複雑な ML パイプラインにおいて、まれだが重要な入力サブセットにおける細粒度の品質監視と改善を効果的に行うにはどうすればよいか？
• RQ5 統合されたデータ管理システム内で、大規模にプログラム的監視を効果的に管理・統合することは可能か？

主な発見

• Overton は、1年間のデプロイ期間中に、ベースラインの生産システムと比較してエラー率を1.7～2.9倍削減した。
• システムにより、エンジニアはTensorFlowなどのフレームワークでコードを書かずにディープラーニングアプリケーションを構築・保守できるようになった。
• 生産環境で Overton を用いたアプリケーションにより、17億件以上のクエリが処理され、トランプルのレコードが処理された。
• 生産環境で1年以上にわたりスキーマの変更が安定していたことから、強いモデルの独立性と保守負荷の低減が示された。
• システムは、エンティティ認識、意図検出、ファクトイド質問応答における知識の根拠化を含む、複雑なマルチコンponentパイプラインを効果的に管理した。
• Overton の監視管理アプローチにより、プログラム的および合成ラベルに対する迅速なイテレーションが可能になり、再トレーニングを伴わずにモデル品質が向上した。