[論文レビュー] Optimization with Constraint Learning: A Framework and Survey

Adejuyigbe O. Fajemisin, Donato Maragno+1 more|arXiv (Cornell University)|Oct 5, 2021

Constraint Satisfaction and Optimization被引用数 4

ひとこと要約

本論文は、明示的な定式化が不可能な状況において、データから制約を体系的かつ段階的に学習できるよう支援する、構造化された五段階フレームワーク「最適化における制約学習（OCL）」を提案する。最近のOCL関連文献をレビューし、モデル選択や埋め込みに関するトレンドを特定するとともに、不確実性統合、効率的ソルバ互換性、モデル検証といった分野における主な課題と機会を強調する。

ABSTRACT

Many real-life optimization problems frequently contain one or more constraints or objectives for which there are no explicit formulas. If data is however available, these data can be used to learn the constraints. The benefits of this approach are clearly seen, however there is a need for this process to be carried out in a structured manner. This paper therefore provides a framework for Optimization with Constraint Learning (OCL) which we believe will help to formalize and direct the process of learning constraints from data. This framework includes the following steps: (i) setup of the conceptual optimization model, (ii) data gathering and preprocessing, (iii) selection and training of predictive models, (iv) resolution of the optimization model, and (v) verification and improvement of the optimization model. We then review the recent OCL literature in light of this framework, and highlight current trends, as well as areas for future research.

研究の動機と目的

• 明示的な定式化が不可能な最適化問題において、データから制約を学習するプロセスを形式化すること。
• OCLのための包括的で段階的なフレームワークを提供し、実務家を支援するとともに、メソドロジカルな落とし穴を低減すること。
• 提案されたフレームワークを用いて、最近の制約学習に関する文献をレビュー・分類し、一般的なアプローチと研究ギャップを同定すること。
• 不確実性に配慮したモデリング、効率的ソルバ統合、学習済み制約の形式的検証といった、未だ十分に掘り下げられていない機会を浮き彫りにすること。
• 制約学習に関する統一されたリファレンスを提供することで、オペレーションズリサーチ分野の広範なコミュニティを支援すること。

提案手法

• フレームワークは以下の五段階から構成される：(i) 概念的モデルの構築、(ii) データ収集と前処理、(iii) 予測モデルの選択と学習、(iv) 機械学習制約を埋め込んだ最適化モデルの解法、(v) 検証と反復的改善。
• 回帰木、ニューラルネットワーク、記号的回帰といった予測モデルを用い、明示的な式の導出を避けて、妥当／非妥当なデータから制約を学習する。
• 本フレームワークは、数学的最適化に機械学習モデルを制約として埋め込むことへの重点を強調しており、サロゲートモデリングやパrameter予測とは明確に区別される。
• CPモデル学習やSMT、不確実性集合の学習に焦点を当てる手法は除外され、制約固有の学習に限定される。
• 著者らは、今後の研究として不確実性に配慮した最適化、効率的ソルバ統合（例：不要なネットワーク部品の非表示）、学習済みモデルの形式的検証を提唱する。
• アクティブラーニングとアダプティブサンプリングは、最小限のデータでモデル品質を向上させる戦略として提案され、探索と活用のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 実世界の最適化において、恣意的・直感的な手法を避けるために、制約学習をどのように体系的に構造化できるか？
• RQ2 制約学習の文脈で、最適化フレームワークに効果的かつ埋め込み可能な予測モデリング手法は何か？
• RQ3 予測モデルの不確実性を最適化に意味的に組み込む方法は何か？ これにより、解のロバストネスが向上する可能性がある。
• RQ4 深層ニューラルネットワークのような複雑なモデルを最適化ソルバに埋め込む際の計算上の課題は何か？ そして、それらをどのように緩和できるか？
• RQ5 学習済み制約モデルを形式的に検証し、反復的に改善することで、信頼性と性能を向上させることは可能か？

主な発見

• 提案されたOCLフレームワークは、データから制約を学習するための体系的かつ繰り返し可能なプロセスを提供し、一貫性の欠如や最適でないモデリングのリスクを低減する。
• ニューラルネットワーク、決定木、記号的回帰は、制約学習に最も一般的に用いられる手法の一部であるが、より低い頻度で使われている手法も利点を有する可能性がある。
• ロバスト最適化や確率的プログラミングを用いて、不確実性の尺度（例：Softmaxスコア、誤分類数）を最適化に組み込むアプローチは、未だ十分に検討されていないが、有望である。
• 非本質的な活性化関数を非表示にするなどの、機械学習モデルをソルバに効率的に埋め込む戦略は、計算パフォーマンスを顕著に向上させ得る。
• ニューラルネットワークの検証に類似した形式的検証フレームワークが、学習済み制約の信頼性と解のロバストネスを保証するために必要である。
• アンサンブル手法は、他の機械学習応用分野では優れた予測性能を示すが、制約学習分野では未だ十分に活用されていない。