[논문 리뷰] Combinatorial Optimization by Learning and Simulation of Bayesian Networks

Pedro Larrañaga, Ramón Etxeberria외 2명|arXiv (Cornell University)|2013. 01. 16.

Bayesian Modeling and Causal Inference참고 문헌 29인용 수 116

한 줄 요약

이 논문은 조합 최적화를 위한 새로운 추정 분포 알고리즘(EDA)을 제안한다. 이 알고리즘은 진화적 프레임워크 내에서 베이지안 네트워크 구조 학습과 시뮬레이션을 통합한다. 높은 품질의 해들의 연합 확률 분포를 확률적 그래픽 모델로 모델링함으로써 변수 간의 의존성을 학습하고, 확률적 시뮬레이션을 통해 새로운 해를 생성함으로써 0-1 배낭 문제 및 그래프 색칠 문제와 같은 기준 문제에서 수렴성과 해 품질을 크게 향상시킨다.

ABSTRACT

This paper shows how the Bayesian network paradigm can be used in order to solve combinatorial optimization problems. To do it some methods of structure learning from data and simulation of Bayesian networks are inserted inside Estimation of Distribution Algorithms (EDA). EDA are a new tool for evolutionary computation in which populations of individuals are created by estimation and simulation of the joint probability distribution of the selected individuals. We propose new approaches to EDA for combinatorial optimization based on the theory of probabilistic graphical models. Experimental results are also presented.

연구 동기 및 목표

• 조합 최적화 문제에서 변수 간 복잡한 의존성을 포착하지 못하는 전통적 진화 알고리즘의 한계를 해결하기 위해.
• 유망한 해들의 연합 확률 분포를 모델링하고 샘플링할 수 있도록 베이지안 네트워크를 활용하는 새로운 EDA 프레임워크를 개발하기 위해.
• 선택된 개체들로부터 확률적 구조를 학습하고 새로운 후보를 시뮬레이션함으로써 탐색 효율성과 해 품질을 향상시키기 위해.
• 표준 조합 최적화 문제인 0-1 배낭 문제 및 그래프 색칠 문제에서 제안된 방법의 효과성을 검증하기 위해.

제안 방법

• 고품질 해의 집합에서 구조 학습 알고리즘을 사용하여 베이지안 네트워크의 위상 구조를 유추한다.
• 데이터로부터 조건부 확률 분포를 추정하여 의사결정 변수 간의 확률적 의존성을 표현한다.
• 학습된 베이지안 네트워크의 확률적 시뮬레이션을 통해 새로운 후보 해를 생성한다.
• 선택, 구조 학습, 시뮬레이션 단계를 반복적으로 갱신함으로써 피플레이션을 업데이트하고 피드백 루프를 형성한다.
• 확률적 그래픽 모델의 원리와 추정 분포 알고리즘(EDA)의 원리를 통합한다.
• 이 방법은 이산 조합 최적화 문제에 적용되며, 베이지안 네트워크는 변수 구성의 연합 분포를 인코딩한다.

실험 결과

연구 질문

• RQ1 베이지안 네트워크는 조합 최적화 해의 변수 간 의존성 구조를 효과적으로 모델링할 수 있는가?
• RQ2 베이지안 네트워크 학습과 시뮬레이션의 통합이 EDA의 수렴성과 해 품질을 향상시키는가?
• RQ3 제안된 EDA의 성능은 기준 조합 최적화 문제에서 전통적 진화 알고리즘보다 우수한가?
• RQ4 학습을 위한 구조 학습에 사용된 훈련 개체 집단의 품질과 크기는 이 방법에 얼마나 민감한가?

주요 결과

• 베이지안 네트워크 모델링을 적용한 제안된 EDA는 0-1 배낭 문제에서 표준 EDA 및 유전자 알고리즘보다 높은 평균 적합도 값을 기록하여 슈퍼어리어를 보였다.
• 그래프 색칠 문제에서는 기준 방법보다 더 빠른 수렴성과 더 뛰어난 해 품질을 보였다.
• 고품질 해에서의 구조 학습을 통해 알고리즘이 단순한 모델이 놓친 복잡한 변수 상호작용을 포착할 수 있었다.
• 학습된 베이지안 네트워크의 시뮬레이션은 다양하면서도 타당한 해를 생성하여 탐색 공간 내 탐색을 향상시켰다.