[論文レビュー] Ecole: A Gym-like Library for Machine Learning in Combinatorial Optimization Solvers

Antoine Prouvost, Justin Dumouchelle+4 more|arXiv (Cornell University)|Nov 11, 2020

Constraint Satisfaction and Optimization参考文献 38被引用数 19

ひとこと要約

Ecole は、組合せ最適化ソルバにおける重要な意思決定タスク（例：変数選択やノード選択）を強化学習の文脈で扱えるようにする、オープンソースで Gym に類似したライブラリです。これらを部分的に観測可能なマルコフ意思決定過程（PO-MDP）として抽象化することで、標準的で拡張可能なインターフェースを提供し、研究者によるアプローチのハードルを低下させます。また、変数選択に強化学習を適用することで、分枝限定法の木のサイズを 5–10% 減少させることに成功しました。

ABSTRACT

We present Ecole, a new library to simplify machine learning research for combinatorial optimization. Ecole exposes several key decision tasks arising in general-purpose combinatorial optimization solvers as control problems over Markov decision processes. Its interface mimics the popular OpenAI Gym library and is both extensible and intuitive to use. We aim at making this library a standardized platform that will lower the bar of entry and accelerate innovation in the field. Documentation and code can be found at https://www.ecole.ai.

研究の動機と目的

• 組合せ最適化における機械学習研究の再現可能性を向上させるために、ベンチマーク、特徴量、評価指標の標準化を図ること。
• 一般用途のソルバと機械学習を統合できる統一的で直感的な API を提供することで、オペレーションズリサーチおよび機械学習分野の研究者による参入障壁を低減すること。
• 最先端の機械学習アルゴリズムを産業用途に耐えるソルバと簡単に統合できるようにすることで、機械学習と組合せ最適化の交差分野におけるイノベーションを加速すること。
• 従来の最適化ソルバに現代の機械学習技術を導入するための支援を提供するため、既存の機械学習ワークフローと互換性を持つモジュラーで拡張可能なプラットフォームを提供すること。

提案手法

• Ecole は、分枝カットソルバにおけるコアな意思決定タスク（例：変数選択、ハイパーパramータチューニング）を、Gym に類似したインターフェースを通じて部分的に観測可能なマルコフ意思決定過程（PO-MDP）として公開しています。
• ソルバとのインタラクション、状態観測、報酬設計をカプセル化した標準化された環境クラス（例：ecole.environment.Branching）を提供しています。
• ソルバの状態を表現するための複数の観測関数（例：グラフベース表現（例：NodeBipartite）や集約された特徴ベクトル）をサポートしており、柔軟な状態表現を実現しています。
• 報酬関数はモジュラーかつカスタマイズ可能で、ノード数や LP 反復回数といったメトリクスを組み込むことで、タスク固有の学習目的を容易に実現できます。
• クリーンな Python API を通じて主要な機械学習フレームワークと統合されており、REINFORCE などの強化学習アルゴリズムを用いたポリシーのシームレスな学習が可能になっています。
• 拡張性を重視した設計となっており、新規の環境、観測関数、報酬関数の追加を容易にしています。また、広範な採用を促進するため、BSD-3 ライセンスで配布されています。

実験結果

リサーチクエスチョン

• RQ1 標準的で Gym に類似したインターフェースは、組合せ最適化ソルバにおける機械学習研究の再現性と比較可能性を向上させることができるか？
• RQ2 機械学習と既存の一般用途ソルバを統合するプロセスを、機械学習およびオペレーションズリサーチ分野の研究者にとってどのように簡素化できるか？
• RQ3 強化学習は、分枝限定法における変数選択といった主要な意思決定タスクの性能向上に、どの程度寄与できるか？
• RQ4 モジュラーで拡張可能なライブラリは、伝統的な最適化ソルバのコンponents における現代の機械学習技術の採用を加速できるか？
• RQ5 実世界の問題インスタンスに適用した場合、学習されたポリシーの性能は、熟練したヒューリスティクスと比べてどの程度の差があるか？

主な発見

• Ecole を用いることで、研究者は数行のコードで複雑な最適化学習環境を定義でき、直接ソルバAPIを扱う場合に比べて実装の複雑さが顕著に低減されました。
• ecole.environment.Branching 環境を用いて変数選択のための強化学習ポリシーを学習させた結果、組合せオークションインスタンスにおいて分枝限定木のサイズが 5–10% 減少しました。
• ライブラリのモジュラー設計により、新しい観測関数、報酬関数、ソルバ環境の統合が容易に行えるようになり、今後のノード選択やカット生成などのタスクへの拡張が可能になっています。
• 強化学習によるポリシーの事前学習（例：強力なブランチングを模倣）を実施し、その後 REINFORCE を用いたポリシー最適化を実行することで、効果的で安定した学習曲線が得られました。
• conda などの主要な機械学習ツールやパッケージマネージャーとの互換性により、研究コミュニティにおけるアクセシビリティと採用が促進されています。
• 問題生成器、特徴量、評価指標の標準化により、再現可能な研究を支援しており、分野全体における断片化の低減に貢献しています。