[論文レビュー] Automatic Cost Function Learning with Interpretable Compositional Networks

Florian Richoux, Jean-François Baffier|arXiv (Cornell University)|Feb 23, 2020

Constraint Satisfaction and Optimization参考文献 10被引用数 2

ひとこと要約

本論文では、解釈可能構成的ネットワークを用いた教師あり学習手法を導入し、制約プログラミングにおけるコスト関数を自動で学習する。これにより、最小限のモデリング作業でコスト関数ネットワーク（CFN）の表現力を活用できる。訓練は小次元問題で行い、高次元問題においてもほぼ完璧な性能を達成する。この手法は、ハミング距離に非常に近い近似を実現する関数を学習する。

ABSTRACT

Cost Function Networks (CFN) are a formalism in Constraint Programming to model combinatorial satisfaction or optimization problems. By associating a function to each constraint type to evaluate the quality of an assignment, it extends the expressivity of regular CSP/COP formalisms but at a price of making harder the problem modeling. Indeed, instead of the regular constraints set, one must provide a set of cost functions that are not always easy to define. Here we first propose two clear definitions of Weighted CSP and CFN, separating these in two different problems considered so far to be similar, and we then propose a method to automatically learn a CF of a constraint, given a function deciding if assignments are valid or not. This is to the best of our knowledge the first attempt to automatically learn cost functions. Our method aims to learn cost functions in a supervised fashion, trying to reproduce the Hamming distance, by using a variation of neural networks we named Interpretable Compositional Networks, allowing us to get explainable results, unlike regular artificial neural networks. We experiment it on 5 different constraints to show its versatility. Experiments show that functions learned on small dimensions scale on high dimensions, outputting a perfect or near-perfect Hamming distance for most constraints. Our system can be used to automatically generate cost functions and then having the expressivity of CFN with the same modeling effort than for CSP/COP.

研究の動機と目的

• コスト関数ネットワーク（CFN）におけるコスト関数の手動定義の課題に取り組み、高い表現力にもかかわらずその採用が制限されている要因を解消すること。
• 重み付きCSPとCFNを明確に分離し、正式に定義することで、モデリングおよび最適化における違いを明確にすること。
• 有効／無効な割り当ての意思決定から、解釈可能なコスト関数を自動で学習する手法を開発し、モデリングの負担を軽減すること。
• 学習されたコスト関数が次元に跨って一般化され、高次元問題においても正確性を維持することを保証すること。

提案手法

• 割り当て間のハミング距離を再現するように、コスト関数を訓練する教師あり学習フレームワークを提案する。
• 解釈可能でモジュール化されたコスト関数表現を生成することを目的とした、ニューラルネットワークの変種である解釈可能構成的ネットワーク（ICN）を導入する。
• 有効／無効な割り当てのラベル付きデータを用いて、ハミング距離に基づく損失関数を用いてICNを訓練する。
• 低次元のインスタンスでモデルを訓練し、高次元問題への一般化を評価する。
• 制約を構成的要素に分解することで、学習された関数の解釈可能性とスケーラビリティを向上させる。
• 異なる5種類の制約タイプにこの手法を適用し、汎用性と性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 CFNにおけるコスト関数は、手動設計を伴わず、有効性の意思決定から自動で学習可能か？
• RQ2 低次元から高次元への問題インスタンスに、自動で学習されたコスト関数がどの程度一般化するか？
• RQ3 学習された関数は、制約充足分野の標準指標であるハミング距離をどの程度再現できるか？
• RQ4 提案された解釈可能構成的ネットワークは、標準的なニューラルネットワークと比較して、正確さに加え説明可能性を両立できるか？

主な発見

• 提案手法は、多数の制約において、完璧またはほぼ完璧なハミング距離近似を達成するコスト関数を効果的に学習した。
• 小次元のインスタンスで訓練されたコスト関数は、再訓練なしに高次元問題へも効果的に一般化した。
• 解釈可能構成的ネットワークは、標準的なニューラルネットワークとは異なり、説明可能な結果を生成しながらも、高い正確性を維持した。
• 本手法により、従来のCSP/COP形式と同等のモデリング作業で、CFNの表現力を活用できるようになった。
• 5種類の異なる制約タイプに対する実験により、本手法の汎用性と構造的多様な問題に対する頑健性が示された。