[論文レビュー] SmartChoices: Hybridizing Programming and Machine Learning

Victor Cărbune, Thierry Coppey+4 more|arXiv (Cornell University)|Oct 1, 2018

Reinforcement Learning in Robotics参考文献 26被引用数 7

ひとこと要約

SmartChoicesは、3回のAPIコールによってコードに機械学習を直接埋め込むハイブリッドプログラミング-MLパラダイムを導入し、古典的アルゴリズムにおけるヒューリスティクスを学習可能なモデルに置き換えることで、最小限のコード変更で開発者による制御と安全性を維持したまま性能を向上させます。このアプローチは、ヒューリスティクスで初期化された強化学習を活用し、二分探索、クイックソート、キャッシュ処理において、純粋なヒューリスティクスよりも優れた結果を達成しています。

ABSTRACT

We present SmartChoices, an approach to making machine learning (ML) a first class citizen in programming languages which we see as one way to lower the entrance cost to applying ML to problems in new domains. There is a growing divide in approaches to building systems: on the one hand, programming leverages human experts to define a system while on the other hand behavior is learned from data in machine learning. We propose to hybridize these two by providing a 3-call API which we expose through an object called SmartChoice. We describe the SmartChoices-interface, how it can be used in programming with minimal code changes, and demonstrate that it is an easy to use but still powerful tool by demonstrating improvements over not using ML at all on three algorithmic problems: binary search, QuickSort, and caches. In these three examples, we replace the commonly used heuristics with an ML model entirely encapsulated within a SmartChoice and thus requiring minimal code changes. As opposed to previous work applying ML to algorithmic problems, our proposed approach does not require to drop existing implementations but seamlessly integrates into the standard software development workflow and gives full control to the software developer over how ML methods are applied. Our implementation relies on standard Reinforcement Learning (RL) methods. To learn faster, we use the heuristic function, which they are replacing, as an initial function. We show how this initial function can be used to speed up and stabilize learning while providing a safety net that prevents performance to become substantially worse -- allowing for a safe deployment in critical applications in real life.

研究の動機と目的

• プログラミング言語における機械学習の第一級の扱いを可能にすることで、伝統的なソフトウェア開発と機械学習の溝を埋めること。
• 既存のシステムやワークフローを大幅に見直すことなく、開発者が新しい分野にMLを適用するための障壁を低減すること。
• ヒューリスティクスによる初期化を用いることで、安全で制御可能かつ効率的な強化学習のアルゴリズム的問題への適用を提供すること。
• 機械学習が、二分探索、クイックソート、キャッシュなどの古典的アルゴリズムを最小限のコード変更で改善し、測定可能な性能向上を達成できることを示すこと。

提案手法

• 開発者が文脈を観察し、値を予測し、フィードバックを受け取ることができる、プログラミング言語における第一級のオブジェクトであるSmartChoiceを導入。
• 3回のAPIコールを公開：contextを収集するためのobserve()、モデル出力を得るためのpredict()、パフォーマンス信号を提供するためのfeedback()。
• 標準的なディープ強化学習をモデル学習に使用し、置き換えられたヒューリスティクス関数を初期方策として用いることで、学習の加速と安定化を図る。
• 訓練中のパフォーマンス低下を防ぐためにヒューリスティクスをセーフティネットとして活用し、本番環境での耐障害性を確保する。
• オブジェクト指向、関数型、命令型の言語に統合可能であり、SmartChoiceをオブジェクト、関数、または変数としてモデル化することで実現。
• 段階的導入を可能にし、既存のコード構造やドメイン固有の論理はそのままで、ヒューリスティクス論理のみを学習可能なモデルに置き換える。

実験結果

リサーチクエスチョン

• RQ1 最小限のコード変更で開発者制御を維持しながら、古典的アルゴリズムに機械学習を統合できるか？
• RQ2 完全なMLパイプラインの構築を必要とせずに、強化学習をアルゴリズム的問題に適用する方法は何か？
• RQ3 ヒューリスティクス関数が、実世界のシステムにおけるRLベースのモデル学習の有効な初期化およびセーフティネットとして機能できるか？
• RQ4 機械学習は、二分探索、クイックソート、キャッシュ処理といった古典的アルゴリズム的問題において、どの程度パフォーマンスを向上させられるか？
• RQ5 システム最適化やユーザーモデリングなど多様な分野にまたがるML統合を抽象化する、統一的かつ再利用可能なAPIを構築できるか？

主な発見

• SmartChoicesは、二分探索、クイックソート、キャッシュ処理という3つのアルゴリズム的問題において、純粋なヒューリスティクスを上回るパフォーマンス向上を達成し、最小限のコード変更で測定可能な向上を示した。
• 元のヒューリスティクスを初期関数として使用することで、強化学習訓練における学習の加速と安定化が顕著に実現された。
• ヒューリスティクス関数はセーフティネットとして機能し、パフォーマンスの低下を防ぎ、重要なアプリケーションにおける安全なデプロイを可能にした。
• このアプローチは、データ、フィードバック、推論に対する完全な開発者制御を可能にし、従来のモデル中心のMLパラダイムを逆転させた。
• このフレームワークは一般化可能であり、同じSmartChoice APIをオブジェクト指向、関数型、命令型のプログラミングパラダイムに適用可能である。
• この手法により、複雑さやインfraの欠如により従来MLに抵抗を示していた分野においても、完全なMLパイプラインの構築を必要とせずにMLの導入が可能になった。