[論文レビュー] Accelerating Human-in-the-loop Machine Learning: Challenges and Opportunities

Doris Xin, Litian Ma+4 more|arXiv (Cornell University)|Apr 16, 2018

Scientific Computing and Data Management参考文献 16被引用数 16

ひとこと要約

本論文では、反復的機械学習開発を、ワークフローの反復間で中間結果を知的にキャッシュおよび再利用することで加速する、宣言的で人間が関与する機械学習システムであるHelixを提案する。ワークフローをDAGとしてモデル化し、コストに基づくオンライン物化ポリシーを用いることで、DeepDive や KeystoneML などのシステムと比較して、累積実行時間を最大10倍短縮する。特に、データ前処理が重いワークフローにおいて顕著な効果を示す。

ABSTRACT

Development of machine learning (ML) workflows is a tedious process of iterative experimentation: developers repeatedly make changes to workflows until the desired accuracy is attained. We describe our vision for a "human-in-the-loop" ML system that accelerates this process: by intelligently tracking changes and intermediate results over time, such a system can enable rapid iteration, quick responsive feedback, introspection and debugging, and background execution and automation. We finally describe Helix, our preliminary attempt at such a system that has already led to speedups of up to 10x on typical iterative workflows against competing systems.

研究の動機と目的

• 反復的機械学習ワークフローにおける非効率性、特に変更のないコンponentを繰り返し再計算する問題に対処すること。
• 反復的モデル開発中の迅速で応答性の高いフィードバックを可能にすることで、フィードバック遅延を低減し、開発者の生産性を向上させること。
• 宣言的仕様とワークフロー進化のための自動提案により、初心者および熟練者ユーザーの両方を支援すること。
• 反復間の「考える時間」を活用し、代替モデルや特徴量の探索などのバックグラウンド処理を実行すること。
• コストと再利用可能性に基づき、どの中間結果を物化するかを知的に選択することで、ストレージと実行を最適化すること。

提案手法

• 中間データアイテムの有向無閉路グラフ（DAG）として機械学習ワークフローをモデル化し、ノードがオペレータの出力を表し、エッジがデータ依存関係を表す。
• ストレージ制約下で合計計算コストとロードコストを最小化する最適化問題として物化問題を定式化し、(c_i + sum of descendants' c_j) - 2*l_i を根拠とするコストモデルを用いる。
• 状態割り当て問題（計算／ロード／削除）を最大フロー問題に還元することで、多項式時間アルゴリズムを適用する。
• 各オペレータの処理終了直後に、コストモデルと残りのストレージに基づいて即座に判断を行うオンライン物化ポリシーを実装する。
• Apache Spark を基盤の実行エンジンとして採用し、TensorFlow などの他のフレームワークへの拡張性を備える。
• 再計算コストとロードコストのバランスを最適化する物理実行計画を計算するDAG最適化器を統合する。

実験結果

リサーチクエスチョン

• RQ1 反復的機械学習ワークフローにおける中間結果を、合計実行時間を最小化するようにどのように選択的にキャッシュすべきか？
• RQ2 将来の再利用パターンを事前に計算しない状況でも、効率的かつオンラインで物化意思決定を行うために、どのようなコストモデルが必要か？
• RQ3 迅速で近似された結果を提供することで、人間が関与する機械学習におけるフィードバック遅延をどのように低減できるか？
• RQ4 開発者が考える時間中にバックグラウンド処理を実行するための最適化は、どのようにワークフロー進化の加速に寄与するか？
• RQ5 教師あり学習からディープラーニングに至る多様な機械学習ワークフローに一般化できるようにするには、初心者と熟練者ユーザーの両方を支援する仕組みは何か？

主な発見

• 分類タスクにおいて、KeystoneML や DeepDive と比較して、Helix は累積実行時間を最大10倍短縮した。
• 情報抽出タスクでは、すべての中間結果を物化するDeepDiveと比較して、Helix は累積実行時間を60％削減した。
• 特に、通常最も長い実行時間を要するデータ前処理の反復において顕著なパフォーマンス向上を示した。
• 評価反復の実行時間が最低に抑えられ、必須の再計算に比例していたことから、再利用パターンの予測の正確性が裏付けられた。
• コストベースの物化ポリシーは、不要な再計算を効果的に低減するとともに、オンライン意思決定制約とストレージ制限を尊重した。
• 物化問題を最大フロー問題に還元することで、最適かつ多項式時間の解法が得られ、このアプローチの理論的基盤が裏付けられた。