[논문 리뷰] Automatic Cost Function Learning with Interpretable Compositional Networks

Florian Richoux, Jean-François Baffier|arXiv (Cornell University)|2020. 02. 23.

Constraint Satisfaction and Optimization참고 문헌 10인용 수 2

한 줄 요약

이 논문은 제약 프로그래밍을 위한 비용 함수를 자동으로 학습할 수 있도록 해석 가능한 조합 네트워크를 사용한 지도 학습 방법을 제안한다. 이는 최소한의 모델링 노력으로 비용 함수 네트워크(CFN)의 표현력을 구현한다. 학습 과정에서 소수의 차원에서 수행된 후 고차원 문제에서 거의 완벽한 성능을 달성하는 해밍 거리에 가까운 근사치를 얻는 함수를 학습한다.

ABSTRACT

Cost Function Networks (CFN) are a formalism in Constraint Programming to model combinatorial satisfaction or optimization problems. By associating a function to each constraint type to evaluate the quality of an assignment, it extends the expressivity of regular CSP/COP formalisms but at a price of making harder the problem modeling. Indeed, instead of the regular constraints set, one must provide a set of cost functions that are not always easy to define. Here we first propose two clear definitions of Weighted CSP and CFN, separating these in two different problems considered so far to be similar, and we then propose a method to automatically learn a CF of a constraint, given a function deciding if assignments are valid or not. This is to the best of our knowledge the first attempt to automatically learn cost functions. Our method aims to learn cost functions in a supervised fashion, trying to reproduce the Hamming distance, by using a variation of neural networks we named Interpretable Compositional Networks, allowing us to get explainable results, unlike regular artificial neural networks. We experiment it on 5 different constraints to show its versatility. Experiments show that functions learned on small dimensions scale on high dimensions, outputting a perfect or near-perfect Hamming distance for most constraints. Our system can be used to automatically generate cost functions and then having the expressivity of CFN with the same modeling effort than for CSP/COP.

연구 동기 및 목표

• 비용 함수 네트워크(CFN)에서 수작업으로 비용 함수를 정의하는 문제에 대응함으로써, 높은 표현력을 지닌다 할지라도 그 활용이 제한되는 문제를 해결하고자 한다.
• 가중치가 있는 제약 만족 문제와 CFN을 명시적으로 구분하여, 모델링 및 최적화 측면에서의 차이를 명확히 정의하고자 한다.
• 유효/무효 할당 결정에서 자동으로 설명 가능한 비용 함수를 학습하는 방법을 개발하여 모델링 부담을 줄이고자 한다.
• 학습된 비용 함수가 차원 간에 일반화되도록 보장하여 고차원 문제에서도 정확도를 유지하고자 한다.

제안 방법

• 비용 함수가 할당 간 해밍 거리를 재현하도록 학습하는 지도 학습 프레임워크를 제안한다.
• 설명 가능한 모듈러 표현을 제공하도록 설계된 신경망의 변종인 해석 가능한 조합 네트워크(ICN)를 도입한다.
• 유효 및 무효 할당의 레이블된 데이터를 기반으로 해밍 거리에 기반한 손실 함수를 사용해 ICN을 학습한다.
• 낮은 차원의 인스턴스에서 모델을 학습하고 고차원 문제로의 일반화 성능을 평가한다.
• 제약 조건을 조합적 구성 요소로 분해하여 학습된 함수의 해석 가능성과 확장성을 향상시킨다.
• 다섯 가지 다른 제약 유형에 대해 방법을 적용하여 유연성과 성능을 검증한다.

실험 결과

연구 질문

• RQ1 CFN의 비용 함수는 수작업 설계 없이 유효성 결정에서 자동으로 학습될 수 있는가?
• RQ2 자동으로 학습된 비용 함수는 낮은 차원에서 학습된 후 고차원 문제 인스턴스로 일반화되는 데 얼마나 잘 성능을 내는가?
• RQ3 학습된 함수가 제약 만족 문제에서 표준 척도인 해밍 거리를 얼마나 잘 재현하는가?
• RQ4 제안된 해석 가능한 조합 네트워크는 기존 신경망과 비교해 정확성과 해석 가능성의 양면에서 우수한 성능을 내는가?

주요 결과

• 제안된 방법은 대부분의 제약 조건에서 해밍 거리 근사치를 완벽하거나 거의 완벽하게 달성하는 비용 함수를 성공적으로 학습한다.
• 작은 차원의 인스턴스에서 학습된 비용 함수는 재학습 없이도 고차원 문제로 효과적으로 일반화된다.
• 해석 가능한 조합 네트워크는 표준 신경망과 달리 설명 가능한 결과를 생성하면서도 높은 정확도를 유지한다.
• 이 방법은 전통적인 CSP/COP 형식과 유사한 모델링 노력으로 CFN의 표현력을 효과적으로 활용할 수 있도록 한다.
• 다섯 가지 다른 제약 유형에 대한 실험을 통해 이 방법이 다양한 문제 구조에 걸쳐 유연성과 강건성을 보여준다.