[论文解读] Automatic Cost Function Learning with Interpretable Compositional Networks

Florian Richoux, Jean-François Baffier|arXiv (Cornell University)|Feb 23, 2020

Constraint Satisfaction and Optimization参考文献 10被引用 2

一句话总结

本文提出一种基于可解释组合网络的监督学习方法，用于自动学习约束规划中的成本函数，实现成本函数网络（CFN）的表达能力，同时建模工作量最小化。该方法学习到的函数能紧密逼近汉明距离，在小维度上训练后即可在高维问题上实现近乎完美的性能。

ABSTRACT

Cost Function Networks (CFN) are a formalism in Constraint Programming to model combinatorial satisfaction or optimization problems. By associating a function to each constraint type to evaluate the quality of an assignment, it extends the expressivity of regular CSP/COP formalisms but at a price of making harder the problem modeling. Indeed, instead of the regular constraints set, one must provide a set of cost functions that are not always easy to define. Here we first propose two clear definitions of Weighted CSP and CFN, separating these in two different problems considered so far to be similar, and we then propose a method to automatically learn a CF of a constraint, given a function deciding if assignments are valid or not. This is to the best of our knowledge the first attempt to automatically learn cost functions. Our method aims to learn cost functions in a supervised fashion, trying to reproduce the Hamming distance, by using a variation of neural networks we named Interpretable Compositional Networks, allowing us to get explainable results, unlike regular artificial neural networks. We experiment it on 5 different constraints to show its versatility. Experiments show that functions learned on small dimensions scale on high dimensions, outputting a perfect or near-perfect Hamming distance for most constraints. Our system can be used to automatically generate cost functions and then having the expressivity of CFN with the same modeling effort than for CSP/COP.

研究动机与目标

• 为解决在成本函数网络（CFN）中手动定义成本函数的挑战，尽管其表达能力更强，但这一做法限制了其应用。
• 将加权约束满足问题（Weighted CSP）与CFN明确区分为两个独立问题，澄清其在建模与优化方面的差异。
• 开发一种方法，从有效/无效赋值决策中自动学习可解释的成本函数，从而减轻建模负担。
• 确保所学习的成本函数在不同维度间具有泛化能力，在高维问题上仍保持高精度。

提出的方法

• 提出一种监督学习框架，使成本函数在训练中重现赋值之间的汉明距离。
• 引入可解释组合网络（ICNs），一种专为生成成本函数的可解释、模块化表示而设计的神经网络变体。
• 基于汉明距离设计损失函数，利用有效与无效赋值的标注数据对ICN进行训练。
• 在低维实例上训练模型，并评估其在高维问题上的泛化能力。
• 将约束分解为组合组件，以提升所学习函数的可解释性与可扩展性。
• 将该方法应用于五种不同的约束类型，以验证其通用性与性能。

实验结果

研究问题

• RQ1 是否能够从有效性决策中自动学习CFN中的成本函数，而无需人工设计？
• RQ2 自动学习的成本函数在从低维到高维问题实例之间泛化效果如何？
• RQ3 所学习的函数在多大程度上能复现汉明距离——这一约束满足问题中的标准度量？
• RQ4 与标准神经网络相比，所提出的可解释组合网络是否能在保持高精度的同时生成既准确又可解释的结果？

主要发现

• 所提出的方法成功学习到的成本函数在大多数约束上实现了对汉明距离的完美或近乎完美的逼近。
• 在小维度实例上训练的成本函数能有效泛化至高维问题，无需重新训练。
• 可解释组合网络生成的结果具有可解释性，与标准神经网络不同，同时保持了高精度。
• 该方法使CFN的表达能力得以应用，且建模工作量与传统CSP/COP形式化方法相当。
• 在五种不同约束类型的实验中，结果表明该方法在不同问题结构下均具有通用性与鲁棒性。